|
|
cf26e01935
|
refactor(basic_re): 重构电影评分数据处理逻辑
-移除了不必要的环境变量设置和测试代码
- 新增 data_prepare模块用于初始化 RDD
- 添加了计算电影平均评分和过滤高评分电影的功能
- 优化了代码结构，提高了可读性和可维护性
|
2025-04-22 14:02:26 +08:00 |
|
|
|
80bdb59d66
|
feat(basic): 添加基本的 Spark 用例
- 新增 basic_re.py 文件，实现了一个简单的 Spark 应用程序
- 该程序从 HDFS 读取电影评分数据，进行基本的数据处理和统计
- 演示了如何使用 Spark RDD 进行数据转换和操作
- 验证了数据排序和比较的功能
|
2025-04-22 13:56:56 +08:00 |
|
|
|
0ddd2d776a
|
style(data_prepare): 修改缩进以符合 PEP 8 规范
- 将 sc = SparkContext.getOrCreate(conf) 的缩进调整为 4 个空格- 保持了代码的整洁和一致性
|
2025-04-22 13:48:13 +08:00 |
|
|
|
67d34ad0ba
|
fix: 设置 PySpark 的 Python环境变量
- 添加 PYSPARK_PYTHON 和 PYSPARK_DRIVER_PYTHON 环境变量设置
- 指定 Python 3.6 作为 PySpark 的 Python 版本
|
2025-04-22 13:47:31 +08:00 |
|
|
|
5c00db57ff
|
fix: fixed python environ error
|
2025-04-22 05:42:16 +00:00 |
|
|
|
73ae9b135b
|
fix: 设置 PySpark 的 Python环境变量
- 添加 PYSPARK_PYTHON 和 PYSPARK_DRIVER_PYTHON 环境变量设置
- 指定 Python 3.6 作为 PySpark 的 Python 版本
|
2025-04-22 13:39:30 +08:00 |
|
|
|
2018debf80
|
refactor(data_prepare): 重构数据准备脚本
- 优化了代码结构，提高了代码可读性和维护性
- 改进了变量命名，使其更具描述性和一致性- 删除了未使用的函数和测试代码，精简了脚本内容
- 更新了字符串格式化方法，使用了更现代的 f-string 方式
|
2025-04-22 13:22:34 +08:00 |
|
|
|
554928b81f
|
refactor(data_prepare): 重构数据准备脚本
- 优化了 ratings 和 movies 数据的解析逻辑- 添加了排序函数和测试用例，用于验证排序功能
- 更新了 Spark 集群连接和 Python 版本设置
- 改进了代码格式和变量命名，提高了可读性
|
2025-04-22 13:16:54 +08:00 |
|
|
|
3cb7ec6dba
|
feat(data): 添加数据准备脚本
- 新增 data_prepare.py 文件，用于初始化和处理电影评分数据
- 实现了从 HDFS 读取 ratings 和 movies 数据的功能
- 提供了数据解析和缓存的逻辑，为后续处理做准备
|
2025-04-22 13:12:18 +08:00 |
|
|
|
254e595256
|
feat init test_helper
|
2025-04-21 03:49:11 +00:00 |
|
