首次提交

常用命令.txt

@@ -0,0 +1,57 @@
+==================== 常用命令(在项目根目录执行)====================
+
+【1. 从 COS 下载 tar-gz 目录的所有文件】
+./coscli-linux-amd64 -c .cos.yaml cp -r cos://asr-dig-data-1253181912/0004/tar-gz/ ./tar-gz/
+
+# 提高并发(文件多时更快)
+./coscli-linux-amd64 -c .cos.yaml cp -r cos://asr-dig-data-1253181912/0004/tar-gz/ ./tar-gz/ --routines 16
+
+
+【2. 上传到 COS 的 tar-gz 目录】
+# 上传单个文件(保留原名)
+./coscli-linux-amd64 -c .cos.yaml cp ./文件名.tar.gz cos://asr-dig-data-1253181912/0004/tar-gz/
+
+# 上传整个目录(加 -r)
+./coscli-linux-amd64 -c .cos.yaml cp -r ./本地目录/ cos://asr-dig-data-1253181912/0004/tar-gz/
+
+
+【3. 查看 tar-gz 目录里有哪些文件】
+./coscli-linux-amd64 -c .cos.yaml ls cos://asr-dig-data-1253181912/0004/tar-gz/
+
+
+==================== 项目启动 / 停止 ====================
+
+【启动(进程池, 后台, 写日志到 app.log)】
+nohup python main.py --source-list ./text2 --max-workers 56 --executor process > app.log 2>&1 &
+
+# 96核机器内存充裕可调大: --max-workers 64
+
+【实时看日志】
+tail -f app.log
+
+【停止(连 ffmpeg 子进程一起杀)】
+bash scripts/stop.sh -y
+
+# 或手动:
+pkill -9 -f main.py ; pkill -9 -f multiprocessing ; pkill -9 ffmpeg
+
+
+==================== 监控 / 统计 ====================
+
+【后台采集 CPU/IO/负载/网络】
+nohup bash scripts/monitor.sh 5 monitor.log &
+
+【看每小时吞吐 + 有效并发(对照 max-workers 看吃满没)】
+python tools/hourly_stats.py 数据.jsonl --last 6
+
+【看每天处理量】
+python tools/daily_stats.py 数据.jsonl
+
+
+==================== 备注 ====================
+- Linux 首次用 coscli 先给执行权限:  chmod +x coscli-linux-amd64
+- 下载/上传目录必须带 -r
+- 目标路径以 / 结尾=保留原名; 带文件名=改成该名
+- 启动靠 数据.jsonl 断点续传, 重启会跳过已处理的视频
+
+