Spark_03_工程开发

以 Spark Core 为例

1. 创建maven工程

<!-- 需要引入spark-core的依赖 -->
		<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.4.3</version>
    </dependency>

2. 创建sparkContext对象

SparkConf sparkConf = new SparkConf()
                .setMaster("local")
                .setAppName("my spark app");
JavaSparkContext sc = new JavaSparkContext(sparkConf);

3. 获取数据

sc.textFile("file:///path/to/file");
sc.textFile("hdfs://192.168.56.101:8020/path/to/file");

4. 通用计算

transformation、action

5. 输出数据

1. 输出到控制台（一般用于开发的时候调试）
2. 输出到文件（本地文件/hdfs/hive…）

6. 回收sc对象

sc.stop()