120 lines
3.6 KiB
Markdown
120 lines
3.6 KiB
Markdown
# NeRF和CNN实验数据集说明
|
||
|
||
## 1. NeRF数据集
|
||
NeRF算法需要多视角图像数据，推荐使用以下公开数据集：
|
||
|
||
### Blender合成数据集
|
||
```bash
|
||
# 安装gdown下载工具
|
||
pip install gdown
|
||
|
||
# 下载Lego场景（示例）
|
||
gdown https://drive.google.com/uc?id=18JxhpWD-4ZmuEK22MTzM9c5YZZjr3RC6
|
||
|
||
# 解压数据
|
||
tar -xf lego.tar -C ../data/nerf/
|
||
```
|
||
|
||
数据目录结构应如下：
|
||
```
|
||
data/nerf/
|
||
└── lego/
|
||
├── images/ # 包含所有训练图片
|
||
│ ├── r_00.png
|
||
│ ├── r_01.png
|
||
│ └── ...
|
||
├── poses_bounds.npy # 位姿和边界信息
|
||
├── transforms.json # 训练用配置文件
|
||
├── transforms_test.json # 测试专用配置文件
|
||
└── results/ # 结果存储目录
|
||
└── nerf/ # NeRF算法结果
|
||
├── pred_0.json # 预测结果
|
||
└── visualizations/ # 可视化图像
|
||
└── vis_0.png
|
||
```
|
||
|
||
### 测试数据准备
|
||
测试时请确保包含以下内容：
|
||
1. `images/`：包含测试用图像文件
|
||
2. `transforms_test.json`：必须包含以下字段：
|
||
```json
|
||
{
|
||
"intrinsic": [[...]], # 相机内参矩阵
|
||
"frames": [ # 图像帧信息数组
|
||
{
|
||
"file_path": "test_00.png", # 图片路径
|
||
"transform_matrix": [...] # 位姿变换矩阵
|
||
},
|
||
// ...其他帧数据...
|
||
]
|
||
}
|
||
```
|
||
|
||
### 模型输入说明
|
||
NeRF模型的输入是三维坐标(x, y, z)，通过位置编码扩展到更高维度。当前实现：
|
||
1. 输入维度：3 (x, y, z)
|
||
2. 位置编码：使用10个频率的正弦/余弦函数进行编码，输出维度为60
|
||
3. 网络结构：三个全连接层(60 -> 256 -> 256 -> 4)
|
||
4. 注意事项：确保测试数据生成的坐标维度与训练时一致
|
||
|
||
### 数据集验证
|
||
下载完成后，请验证transforms.json文件内容，确保包含以下必要字段：
|
||
```json
|
||
{
|
||
"intrinsic": [[...]], # 相机内参矩阵
|
||
"frames": [ # 图像帧信息数组
|
||
{
|
||
"file_path": "r_00.png", # 图片路径
|
||
"transform_matrix": [...] # 位姿变换矩阵
|
||
},
|
||
// ...其他帧数据...
|
||
]
|
||
}
|
||
```
|
||
|
||
### 测试与可视化
|
||
测试完成后将生成以下内容：
|
||
1. 预测结果保存在`results/nerf/`目录下的JSON文件中
|
||
2. 可视化图像保存在`results/nerf/visualizations/`目录下，包含：
|
||
- 点云可视化（xy投影）
|
||
- RGB颜色分布
|
||
|
||
示例可视化输出：
|
||
```
|
||
data/nerf/
|
||
└── lego/
|
||
└── results/
|
||
└── nerf/
|
||
└── visualizations/
|
||
├── vis_0.png # 第一个测试样本的可视化
|
||
└── vis_1.png # 第二个测试样本的可视化
|
||
```
|
||
|
||
### 训练与测试脚本
|
||
```bash
|
||
# 训练NeRF模型（可选参数）
|
||
python nerf/train_nerf.py \
|
||
--data_path ../data/nerf/lego \
|
||
--batch_size 2 \
|
||
--num_epochs 20
|
||
|
||
# 测试NeRF模型（可选参数）
|
||
python nerf/test_nerf.py \
|
||
--data_path ../data/nerf/lego \
|
||
--batch_size 2
|
||
```
|
||
|
||
训练完成后会在`data/nerf/lego/checkpoint/`目录下生成模型文件，预测结果会保存在`data/nerf/lego/results/nerf/`目录。
|
||
|
||
## 2. CNN数据集
|
||
CNN图像识别推荐使用CIFAR-10数据集，代码中已自动下载：
|
||
```python
|
||
# 在cnn.py中会自动下载到data/cnn/目录
|
||
torchvision.datasets.CIFAR10(root='../data/cnn/', train=True, download=True)
|
||
```
|
||
|
||
## 数据预处理
|
||
```bash
|
||
# 图像尺寸统一（示例）
|
||
pip install opencv-python
|
||
python -c "import cv2; import os; [cv2.resize(cv2.imread(f), (256,256)) for f in os.listdir('../data/nerf/lego/images/') if f.endswith('.png')]" |