Commit Graph

6 Commits

Author SHA1 Message Date
90d4056157 style(basic_re.py): 优化代码格式
- 删除多余的空行
- 将长行代码进行适当折行,提高可读性
2025-04-22 14:18:02 +08:00
5c00db57ff fix: fixed python environ error 2025-04-22 05:42:16 +00:00
73ae9b135b fix: 设置 PySpark 的 Python环境变量
- 添加 PYSPARK_PYTHON 和 PYSPARK_DRIVER_PYTHON 环境变量设置
- 指定 Python 3.6 作为 PySpark 的 Python 版本
2025-04-22 13:39:30 +08:00
2018debf80 refactor(data_prepare): 重构数据准备脚本
- 优化了代码结构,提高了代码可读性和维护性
- 改进了变量命名,使其更具描述性和一致性- 删除了未使用的函数和测试代码,精简了脚本内容
- 更新了字符串格式化方法,使用了更现代的 f-string 方式
2025-04-22 13:22:34 +08:00
554928b81f refactor(data_prepare): 重构数据准备脚本
- 优化了 ratings 和 movies 数据的解析逻辑- 添加了排序函数和测试用例,用于验证排序功能
- 更新了 Spark 集群连接和 Python 版本设置
- 改进了代码格式和变量命名,提高了可读性
2025-04-22 13:16:54 +08:00
3cb7ec6dba feat(data): 添加数据准备脚本
- 新增 data_prepare.py 文件,用于初始化和处理电影评分数据
- 实现了从 HDFS 读取 ratings 和 movies 数据的功能
- 提供了数据解析和缓存的逻辑,为后续处理做准备
2025-04-22 13:12:18 +08:00