安装部署

本文档将介绍 Spark 和 Spark-SequoiaDB 连接器的安装

Spark 安装

1. 下载 Spark 产品包

2. 安装 Spark

   Note:

   可参考 Spark 官方文档

3. 通过 SequoiaDB 官网、Maven 仓库 或 SequoiaDB 安装目录下的 spark、java 目录下获取相应版本的 Spark-SequoiaDB 连接器和 SequoiaDB Java 驱动。

   Note:

   Spark-SequoiaDB_2.11 连接组件的环境要求：

   • JDK 1.8+
   • Scala 2.11+
   • Spark 2.0.0+

   Spark-SequoiaDB_3.0 连接组件的环境要求：

   • JDK 1.8+
   • Scala 2.12+
   • Spark 3.0.0+

Spark-SequoiaDB 连接器安装

安装 Spark-SequoiaDB 连接器只需要将 Spark-SequoiaDB 连接组件和 SequoiaDB Java 驱动的 jar 包复制到 Spark 安装路径下的 jars 目录下即可。

Note:

用户需要将 jar 包复制到每一台机器的 Spark 安装路径下。