==================== 常用命令(在项目根目录执行)==================== 【1. 从 COS 下载 tar-gz 目录的所有文件】 ./coscli-linux-amd64 -c .cos.yaml cp -r cos://asr-dig-data-1253181912/0004/tar-gz/ ./tar-gz/ # 提高并发(文件多时更快) ./coscli-linux-amd64 -c .cos.yaml cp -r cos://asr-dig-data-1253181912/0004/tar-gz/ ./tar-gz/ --routines 16 【2. 上传到 COS 的 tar-gz 目录】 # 上传单个文件(保留原名) ./coscli-linux-amd64 -c .cos.yaml cp ./文件名.tar.gz cos://asr-dig-data-1253181912/0004/tar-gz/ # 上传整个目录(加 -r) ./coscli-linux-amd64 -c .cos.yaml cp -r ./本地目录/ cos://asr-dig-data-1253181912/0004/tar-gz/ 【3. 查看 tar-gz 目录里有哪些文件】 ./coscli-linux-amd64 -c .cos.yaml ls cos://asr-dig-data-1253181912/0004/tar-gz/ ==================== 项目启动 / 停止 ==================== 【启动(进程池, 后台, 写日志到 app.log)】 nohup python main.py --source-list ./text2 --max-workers 56 --executor process > app.log 2>&1 & # 96核机器内存充裕可调大: --max-workers 64 【实时看日志】 tail -f app.log 【停止(连 ffmpeg 子进程一起杀)】 bash scripts/stop.sh -y # 或手动: pkill -9 -f main.py ; pkill -9 -f multiprocessing ; pkill -9 ffmpeg ==================== 监控 / 统计 ==================== 【后台采集 CPU/IO/负载/网络】 nohup bash scripts/monitor.sh 5 monitor.log & 【看每小时吞吐 + 有效并发(对照 max-workers 看吃满没)】 python tools/hourly_stats.py 数据.jsonl --last 6 【看每天处理量】 python tools/daily_stats.py 数据.jsonl ==================== 备注 ==================== - Linux 首次用 coscli 先给执行权限: chmod +x coscli-linux-amd64 - 下载/上传目录必须带 -r - 目标路径以 / 结尾=保留原名; 带文件名=改成该名 - 启动靠 数据.jsonl 断点续传, 重启会跳过已处理的视频