准备 MSR-VTT 检索/视频问答数据集

简介

@inproceedings{xu2016msr,
      title={Msr-vtt: A large video description dataset for bridging video and language},
      author={Xu, Jun and Mei, Tao and Yao, Ting and Rui, Yong},
      booktitle={CVPR},
      pages={5288--5296},
      year={2016}
}

在数据集准备前，请确保命令行当前路径为 $MMACTION2/tools/data/msrvtt/。

步骤 1. 下载标注文件

用户可从 VindLU 提供的 Google Drive 链接中直接下载以下与 MSR-VTT 相关的标注文件, 并放置到 $MMACTION2/tools/data/msrvtt/annotations 路径下:

• msrvtt_qa_train.json

• msrvtt_qa_val.json

• msrvtt_qa_test.json

• msrvtt_qa_answer_list.json

• msrvtt_mc_test.json

• msrvtt_ret_train9k.json

• msrvtt_ret_train7k.json

• msrvtt_ret_test1k.json

• msrvtt_test1k.json

步骤 2. 准备视频数据

用户可参考该数据集的官网，以获取数据集相关的基本信息。运行下面的命令准备 MSRVTT 视频文件:

# download original videos
bash download_msrvtt.sh
# preprocess videos to lower FPS and dimension
bash compress_msrvtt.sh

完成上述准备步骤后，文件目录如下：

mmaction2
├── mmaction
├── tools
├── configs
├── data
│   └── msrvtt
│   │   ├── annotations
│   │   │   ├── msrvtt_qa_train.json
│   │   │   ├── msrvtt_qa_val.json
│   │   │   ├── msrvtt_qa_test.json
│   │   │   ├── msrvtt_qa_answer_list.json
│   │   │   ├── msrvtt_mc_test.json
│   │   │   ├── msrvtt_ret_train9k.json
│   │   │   ├── msrvtt_ret_train7k.json
│   │   │   ├── msrvtt_ret_test1k.json
│   │   │   └── msrvtt_test1k.json
│   │   └── videos_2fps_224
│   │       ├── video0.mp4
│   │       ├── video1.mp4
│   │       ├── ...
│   │       └── video9999.mp4