58 lines
1.9 KiB
Plaintext
58 lines
1.9 KiB
Plaintext
==================== 常用命令(在项目根目录执行)====================
|
|
|
|
【1. 从 COS 下载 tar-gz 目录的所有文件】
|
|
./coscli-linux-amd64 -c .cos.yaml cp -r cos://asr-dig-data-1253181912/0004/tar-gz/ ./tar-gz/
|
|
|
|
# 提高并发(文件多时更快)
|
|
./coscli-linux-amd64 -c .cos.yaml cp -r cos://asr-dig-data-1253181912/0004/tar-gz/ ./tar-gz/ --routines 16
|
|
|
|
|
|
【2. 上传到 COS 的 tar-gz 目录】
|
|
# 上传单个文件(保留原名)
|
|
./coscli-linux-amd64 -c .cos.yaml cp ./文件名.tar.gz cos://asr-dig-data-1253181912/0004/tar-gz/
|
|
|
|
# 上传整个目录(加 -r)
|
|
./coscli-linux-amd64 -c .cos.yaml cp -r ./本地目录/ cos://asr-dig-data-1253181912/0004/tar-gz/
|
|
|
|
|
|
【3. 查看 tar-gz 目录里有哪些文件】
|
|
./coscli-linux-amd64 -c .cos.yaml ls cos://asr-dig-data-1253181912/0004/tar-gz/
|
|
|
|
|
|
==================== 项目启动 / 停止 ====================
|
|
|
|
【启动(进程池, 后台, 写日志到 app.log)】
|
|
nohup python main.py --source-list ./text2 --max-workers 56 --executor process > app.log 2>&1 &
|
|
|
|
# 96核机器内存充裕可调大: --max-workers 64
|
|
|
|
【实时看日志】
|
|
tail -f app.log
|
|
|
|
【停止(连 ffmpeg 子进程一起杀)】
|
|
bash scripts/stop.sh -y
|
|
|
|
# 或手动:
|
|
pkill -9 -f main.py ; pkill -9 -f multiprocessing ; pkill -9 ffmpeg
|
|
|
|
|
|
==================== 监控 / 统计 ====================
|
|
|
|
【后台采集 CPU/IO/负载/网络】
|
|
nohup bash scripts/monitor.sh 5 monitor.log &
|
|
|
|
【看每小时吞吐 + 有效并发(对照 max-workers 看吃满没)】
|
|
python tools/hourly_stats.py 数据.jsonl --last 6
|
|
|
|
【看每天处理量】
|
|
python tools/daily_stats.py 数据.jsonl
|
|
|
|
|
|
==================== 备注 ====================
|
|
- Linux 首次用 coscli 先给执行权限: chmod +x coscli-linux-amd64
|
|
- 下载/上传目录必须带 -r
|
|
- 目标路径以 / 结尾=保留原名; 带文件名=改成该名
|
|
- 启动靠 数据.jsonl 断点续传, 重启会跳过已处理的视频
|
|
|
|
|