如何安装 Apache Ubuntu 22.04 LTS 上的星火

在本教程中，我们将向您展示如何安装 Apache Ubuntu 22.04 LTS 上的 Spark。 对于那些不知道的人， Apache Spark 是一个强大的开源大数据处理引擎。 它提供了一个分布式计算系统，可以为从数据科学和机器学习到大规模数据处理的应用程序进行数据处理。

本文假定您至少具有 Linux 的基本知识，知道如何使用 shell，最重要的是，您在自己的 VPS 上托管您的站点。 安装非常简单，假设您正在运行 root 帐户，如果没有，您可能需要添加 ‘sudo‘ 获取命令 root 特权。 我会告诉你一步一步的安装 Apache Ubuntu 22.04 上的星火。 对于 Ubuntu 22.04 和任何其他基于 Debian 的发行版（如 Linux Mint、Elementary OS、Pop!_OS 等），您可以遵循相同的说明。

先决条件

  • 运行以下操作系统之一的服务器：Ubuntu 22.04、20.04 和任何其他基于 Debian 的发行版，如 Linux Mint。
  • 建议您使用全新的操作系统安装，以防止出现任何潜在问题。
  • 通过 SSH 访问服务器（如果您在桌面上，则只需打开终端）。
  • 有效的互联网连接。 您需要互联网连接才能下载必要的软件包和依赖项 Apache 火花。
  • A non-root sudo user或访问 root user. 我们建议充当 non-root sudo user，但是，如果您在充当 root.

安装 Apache Ubuntu 22.04 LTS Jammy Jellyfish 上的 Spark

步骤 1. 首先，通过运行以下命令确保所有系统包都是最新的 apt 终端中的命令。

sudo apt update
sudo apt upgrade
sudo apt install wget apt-transport-https gnupg2 software-properties-common

步骤 2. 安装 Java。

Apache Spark 需要在系统上安装 Java 8 或更高版本。 如果您的系统上没有安装 Java，您可以通过运行以下命令来安装它：

sudo apt install default-jdk

通过运行以下命令验证 Java 版本：

java -version

有关安装 Java 的其他资源，请阅读以下帖子：

  • 如何在 Ubuntu Linux 上安装 Java √

步骤 3. 安装 Apache Ubuntu 22.04 上的星火。

默认情况下， Apache Spark 在 Ubuntu 22.04 基本存储库上不可用。 现在 run 下面的命令下载最新版本 Apache 来自官方的火花 Apache Spark 网站到您的 Ubuntu 系统：

wget https://www.apache.org/dyn/closer.lua/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz

接下来，使用以下命令解压缩包：

tar -xvzf spark-3.3.2-bin-hadoop3.tgz

将提取的包移动到 /usr/local 使用以下命令的目录：

sudo mv spark-3.3.2-bin-hadoop3 /usr/local/spark

步骤 4. 配置 Apache 火花。

你需要配置 Apache 通过设置一些环境变量来激发。 现在打开 .bashrc 使用以下命令创建文件：

nano ~/.bashrc

添加以下行：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Save 和 close 文件，然后重新载入 .bashrc 通过运行以下命令来创建文件：

source ~/.bashrc

接下来，通过运行以下命令复制默认配置文件：

cp /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh

之后，我们打开 spark-env.sh 使用以下命令创建文件：

nano /usr/local/spark/conf/spark-env.sh

添加以下文件：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

步骤 5. 测试 Apache 火花。

现在我们已经安装和配置了 Apache Spark，让我们通过运行一个简单的 Spark 应用程序来测试安装。 我们将使用 Spark shell 来测试安装。 Enter 以下命令启动 Spark shell：

spark-shell

此命令将打开 Spark shell，您应该会看到 Spark 徽标和如下所示的提示：

21/02/22 36:46:11 INFO SparkContext: Running Spark version 3.3.2
Welcome to
     ____              __
    / __/__  ___ _____/ /__
   _ / _ / _ `/ __/  '_/
  /___/ .__/_,_/_/ /_/_   version 3.3.2
     /_/

恭喜！ 您已成功安装 Apache 火花。 感谢您使用本教程进行安装 Apache Ubuntu 系统上的 Spark。 如需更多帮助或有用信息，我们建议您查看 官方 Apache 星火网站.

相關文章