Apache Hadoop je otevřený software, který poskytuje infrastrukturu pro zpracování a analýzu velkých dat. Instalace a konfigurace Hadoopu na operačním systému Linux může být pro začátečníky náročná, ale s naším podrobným průvodcem můžete tento úkol úspěšně dokončit.
Než začnete instalovat Hadoop, budete potřebovat Server Linux s nainstalovaným operačním systémem Linux a přístupem k internetu. Mějte na paměti, že Hadoop vyžaduje, aby Java Development Kit (JDK) fungoval správně.
Budete také potřebovat určitou úroveň znalostí správy Linuxu, protože proces instalace Hadoop zahrnuje provádění různých příkazů na příkazovém řádku. Pokud neznáte základy příkazového řádku Linuxu, doporučujeme před zahájením instalace Hadoopu vyhledat příslušnou dokumentaci a prostudovat si základní příkazy.
Instalace Hadoop na Linux
1. Příprava serveru:
Před instalací Hadoopu se ujistěte, že váš server má dostatečné zdroje, jako je RAM a CPU, aby správně zpracoval velké množství dat. Nainstalujte operační systém Linux a nakonfigurujte síťové připojení.
2. Instalace Java:
Hadoop vyžaduje k provozu nainstalovanou platformu Java. Nainstalujte na svůj Server Java Development Kit (JDK). Zkontrolujte, zda je Java úspěšně nainstalována pomocí příkazu "Java-version".
3. Příprava Hadoop:
Stáhněte si distribuci Hadoop z oficiálních webových stránek. Rozbalte stažený soubor do vybraného adresáře na serveru.
4. Nastavení Hadoop:
Nakonfigurujte konfigurační soubory Hadoop podle vašeho systému a požadavků. Proveďte potřebné změny v souborech, jako je hdfs-site.xml, core-site.xml a mapred-site.XML pro přizpůsobení nastavení, jako je počet uzlů a alokace prostředků.
5. Spuštění Hadoop:
Po nastavení všech souborů spusťte Hadoop pomocí příkazu "start-all.sh". zkontrolujte protokoly, abyste se ujistili, že Hadoop byl úspěšně spuštěn.
Instalace Hadoopu na linuxový server se tedy skládá z několika kroků: příprava serveru, instalace Javy, příprava Hadoopu, konfigurace Hadoopu a spuštění. Pokud budete postupovat podle výše uvedených kroků, podaří se vám úspěšně nainstalovat Hadoop na váš linuxový stroj a jste připraveni začít zpracovávat a analyzovat velké množství dat pomocí tohoto výkonného rámce.
Příprava na instalaci
Před instalací Hadoopu na Linux je třeba provést několik přípravných kroků.
1. Ujistěte se, že máte na svém systému nainstalovanou Java Development Kit (JDK). Hadoop vyžaduje JDK verze 8 nebo vyšší. Zkontrolujte instalaci spuštěním příkazu Java-version . Pokud není JDK nainstalován, lze jej stáhnout a nainstalovat z oficiálních stránek Oracle.
2. Vytvořte uživatele, který bude použit ke spuštění Hadoopu. Nového uživatele můžete vytvořit pomocí příkazu adduser . Například pro vytvoření uživatele s názvem hadoop, spusťte následující příkaz: sudo adduser hadoop .
3. Nainstalujte OpenSSH, pokud ještě není nainstalován. Hadoop používá SSH ke sdílení dat mezi uzly clusteru. Spusťte příkaz sudo apt-get install OpenSSH-server a nainstalujte OpenSSH.
Instalace Java Development Kit (JDK)
- Otevřete terminál Linux a zadejte následující příkaz, abyste zjistili, zda je na vašem systému nainstalován JDK:
java -version- Pokud není JDK nainstalován, budete vyzváni k instalaci JDK pomocí dávkového správce vašeho systému.
- Pokud není JDK nainstalován, zadejte následující příkaz k instalaci JDK pomocí dávkového správce systému. Níže uvedený příkaz je určen pro Ubuntu: sudo apt-get install openjdk-8-jdk místo "openjdk-8-jdk" můžete k instalaci JDK použít jiný dávkový nástroj vašeho systému.
- Po instalaci JDK zadejte příkaz Java-version, abyste se ujistili, že je JDK úspěšně nainstalován a funguje.
Po úspěšné instalaci JDK jste připraveni přejít k instalaci Apache Hadoop. Instalace JDK je důležitým krokem k úspěšné instalaci a používání Hadoopu na Linuxu.
Instalace Hadoop
Chcete-li nainstalovat Hadoop na Linux, postupujte podle pokynů níže:
- Nejprve nainstalujte do počítače Java Development Kit (JDK). To lze provést spuštěním příkazu: sudo apt-get install default-jdk
- Poté stáhněte archiv Hadoop z oficiálních stránek: wget https://www.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
- Rozbalte stažený archiv pomocí příkazu: tar-xzf hadoop-3.2.1.tar.gz
- Přejděte do adresáře Hadoop: cd hadoop-3.2.1
- Přizpůsobte proměnné prostředí přidáním následujících řádků do souboru ~/.bashrc : export HADOOP_HOME=/path/to/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin - Aktualizujte proměnné prostředí pomocí příkazu: source ~/.bashrc
- Vytvořte adresář pro ukládání dat Hadoop: mkdir / home / hadoop/data
- Nakonfigurujte konfigurační soubory Hadoop: cd $HADOOP_HOME / etc/hadoop
cp mapred-site.xml.template mapred-site.xml
cp core-site.xml.template core-site.xml
cp hdfs-site.xml.template hdfs-site.xml
cp yarn-site.xml.template yarn-site.xml - Otevřete soubor hadoop-env.sh v editoru a komentujte řádek obsahující JAVA_HOME nastavením správné cesty k JDK: export JAVA_HOME= / usr / lib / jvm / default-java
- Nakonfigurujte konfigurační soubory Hadoop zadáním cesty k datům a dalších nastavení: nano core-site.xml
nano hdfs-site.xml
nano mapred-site.xml
nano yarn-site.xml - A nakonec spusťte Hadoop: start-all.sh
Gratuluji! Hadoop jste úspěšně nainstalovali a nakonfigurovali na svém linuxovém počítači.
Nastavení Hadoop
Po instalaci Hadoopu na Linux je nutné provést některá nastavení, aby systém fungoval správně.
1. Otevřete konfigurační soubor Hadoop, který se nachází v adresáři / etc / hadoop .
2. Změňte hodnotu proměnné HADOOP_HOME nastavením cesty k nainstalovanému Hadoopu.
3. Zadejte cestu k datovému adresáři, který bude Hadoop používat. Změňte hodnotu proměnných dfs.name.dir a dfs.data.dir v konfiguračním souboru.
4. Nakonfigurujte systémové proměnné prostředí: přidejte cestu k nainstalovanému Hadoopu do proměnné PATH a nainstalujte proměnné HADOOP_HOME a HADOOP_CONF_DIR .
6. Zkontrolujte Hadoop spuštěním v pseudodefinovaném režimu příkazem start-dfs.sh .. Poté budete moci použít Hadoop ke zpracování dat.
Po provedení všech nastavení bude Hadoop připraven k použití na Linuxu. Nyní jej můžete použít k distribuovanému ukládání a zpracování dat.