数据采集

配置和管理短视频平台的数据采集任务

数据存储说明

  • 文件存储:采集的数据会自动保存到项目根目录下的 data/ 文件夹
  • CSV文件:data/csv/{平台}_{视频ID}_{时间戳}.csv
  • JSON文件:data/json/{平台}_{视频ID}_{时间戳}.json
  • 数据库存储:数据同时保存到MySQL数据库的 videoscomments 表中
  • 查看数据:可在 数据管理 页面查看所有已采集的数据

采集配置

建议设置2-5秒,避免请求过于频繁

采集任务

任务ID 平台 目标 状态 进度 已采集 开始时间 操作
{{ task.task_id }} {{ getPlatformName(task.platform) }} {{ task.target }} {{ getStatusName(task.status) }}
{{ task.progress }}%
{{ task.collected_count }}/{{ task.total_count }} {{ formatDate(task.start_time) }}
暂无任务

采集日志

{{ log }}
暂无日志