|
|
28d60018af
|
fix(1-1.py):优化日志解析和空 RDD处理
- 重构日志解析逻辑，提高代码可读性
- 改进空 RDD检查方法，使用 count() 替代 isEmpty()
- 优化输出格式，使用格式化字符串替代 f-string
|
2025-04-14 01:51:33 +08:00 |
|
|
|
c48a91f11e
|
refactor(1-1.py): 重构日志分析代码
- 重新编写日志解析逻辑，使用正则表达式匹配日志行
- 添加错误处理和日志文件为空时的处理逻辑- 优化 Top 10 最常访问的端点统计代码- 使用 f-string 改进代码可读性
- 添加 SparkContext 初始化和停止逻辑
|
2025-04-14 01:49:05 +08:00 |
|
|
|
329b28dc26
|
分析：新增失败URL分析功能- 从日志中筛选出响应码非200的请求
- 统计每个URL的失败次数
- 获取失败次数最多的前10个URL
-打印结果
|
2025-04-14 01:46:24 +08:00 |
|
|
|
6eb33193b8
|
feat(log_analysis_step2.py): 添加日志分析功能
- 新增日志解析、内容大小分析、响应码分析等功能
- 实现了访问最多的主机和端点统计
- 添加了数据可视化图表，包括响应码分布和热门端点
|
2025-04-14 01:10:45 +08:00 |
|
|
|
be8b493597
|
test(pretest1.py): 添加日志解析测试功能
- 新增日志解析函数和相关辅助函数
- 实现日志文件读取和解析逻辑
- 添加测试用例以验证解析功能
- 优化代码结构和可读性
|
2025-04-14 01:00:04 +08:00 |
|
|
|
3dc9473341
|
feat: init files
|
2025-04-13 16:57:29 +00:00 |
|
