Spark安装笔记

0x00 安装Scala

  1. 前往https://www.scala-lang.org/download/进行下载,下载scala-2.12.8.tgz

  2. 解压scala的安装包

  1. 设置环境变量

  1. 验证

输入scala,返回scala的交互式命令行

0x01 安装Spark

  1. 首先查看hadoop的版本,查看scala的版本。然后在网站http://spark.apache.org/downloads.html上选择Spark的版本

  2. 解压Spark安装包

  1. 配置Spark环境

  1. 配置spark-env.sh

  1. 验证

使用spark-shell

如果回显如下则证明成功

0x03 配置子节点

需要注意的是都需要在.bashrc中增加相关变量,前面已经提到。