安装环境
macOS-10.15.4
jdk-1.8.0_241
scala-2.12.11
hadoop-2.10.0
spark-2.4.5
jdk 和 haodop 在之前的文章macOS 安装 hadoop-2.10.0 详细介绍过安装方法，现在介绍安装 scala 以及 spark。
安装 scala
在官网下载所需版本的 scala 安装包，解压到 /usr/local/Bigdata 文件夹中。在 /etc/profile 中设置环境变量。
1
2
3
# set scala home
export SCALA_HOME=/usr/local/Bigdata/scala-2.12.11
export PATH=$SCALA_HOME/bin:$PATH
安装 spark
在官网下载所需要版本的 spark 安装包，解压到 /usr/local/Bigdata 文件夹中。在 /etc/profile 中设置环境变量。
1
2
3
4
# set spark home.
export SPARK_HOME=/usr/local/Bigdata/spark-2.4.5-bin-hadoop2.7
export SPARK_YARN_USER_ENV=${HADOOP_CONF_DIR}
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
修改 spark 配置文件
spark-env.sh
1
2
3
4
5
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_241.jdk/Contents/Home
export SCALA_HOME=/usr/local/Bigdata/scala-2.12.11
export HADOOP_HOME=/usr/local/Bigdata/hadoop-2.10.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=localhost
slaves
1
localhost
启动 spark
standalone 模式启动
1
2
3
4
# 启动 spark 自带的资源管理器
$SPARK_HOME/sbin/start-all.sh
$SPARK_HOME/bin/spark-shell --master spark://localhost:7077
yarn 模式启动
1
$SPARK_HOME/bin/spark-shell --master yarn