feat: harden douyin sync diagnostics and manual fallback
This commit is contained in:
@@ -106,7 +106,18 @@
|
||||
|
||||
- StoryForge 已支持把 `upload_video` 或已完成的 `video_link` 源素材自动上传到 `cutvideo`
|
||||
- `real-cut` 任务可直接传 `source_job_id`,由后端完成 staging 后再提交到剪辑服务
|
||||
- Windows 机器还需要部署带 `POST /api/uploads` 的 `cutvideo` 分支版本
|
||||
- Windows 机器已部署带 `POST /api/uploads` 的 `cutvideo` 版本,并完成局域网联调
|
||||
|
||||
### 3.1 `douyin` 工作台
|
||||
|
||||
- `collector-service` 已具备 `/v2/douyin/*` 工作台接口
|
||||
- 已补充两类关键联调增强:
|
||||
- 分享文案中的 URL 自动提取与归一化
|
||||
- public 页面命中抖音反爬挑战时的显式诊断返回
|
||||
- 真实 smoke 结果表明,纯 public 主页抓取会落到 `byted_acrawler` 挑战页,而不是正常 profile 数据页
|
||||
- 同时,`manual_profile_payload + manual_work_payloads` 已验证可完成账号入库和分析报告生成
|
||||
|
||||
结论:`douyin` 方向不再是“接口存在但不可用”,当前状态是“public 直抓受反爬限制,但人工采集兜底链已跑通”。
|
||||
|
||||
### 4. `huobao-drama`
|
||||
|
||||
@@ -151,6 +162,7 @@
|
||||
|
||||
## 当前主要风险
|
||||
|
||||
1. 抖音 / 小红书账号级内容源还未做真实平台验证
|
||||
2. `huobao-drama` 已在本机旧改版实例上跑通,但兼容补丁尚未迁到 upstream 仓库并形成正式提交
|
||||
3. `douyin` 新接口已上线 live,但还需要补一轮真实账号级回归,确认页面抓取、手工 payload 和相似账号分析都稳定
|
||||
1. 小红书账号级内容源还未做真实平台验证
|
||||
2. `douyin` public 直抓仍受反爬限制,生产落地还需要补 cookie 或人工页面采集协作链
|
||||
3. `huobao-drama` 已在本机旧改版实例上跑通,但兼容补丁尚未迁到 upstream 仓库并形成正式提交
|
||||
4. `douyin` 新接口已上线 live,但还需要补一轮真实账号级回归,确认手工 payload 和相似账号分析都稳定
|
||||
|
||||
@@ -137,6 +137,25 @@ docker compose up -d --build
|
||||
- 子任务:`job_7f169db61af441f8a7f186d03db2d91c`
|
||||
- 子任务:`job_28c47774028441378a3974860c375ab7`
|
||||
|
||||
## 6.1 `douyin` 账号工作台验证
|
||||
|
||||
基础接口:
|
||||
|
||||
- `POST /v2/douyin/accounts/sync`
|
||||
- `POST /v2/douyin/accounts/{account_id}/analysis`
|
||||
|
||||
说明:
|
||||
|
||||
- `profile_url` 现在支持直接传分享文案,后端会自动提取里面的 URL
|
||||
- 如果 public 页面命中抖音反爬挑战,接口会返回 `public_profile_anti_bot_challenge`
|
||||
- 遇到挑战页时,继续可用的路径是 `manual_profile_payload`、`manual_work_payloads` 和 `manual_creator_pages`
|
||||
|
||||
已验证样例:
|
||||
|
||||
- public 页面 smoke:返回 `public_profile_anti_bot_challenge`
|
||||
- 手工导入账号:`dyacct_c2b62842b228406cb48f05fac16fdfdf`
|
||||
- 手工账号分析报告:`dyreport_10d6b8d2d52a404192f54a3a05d44546`
|
||||
|
||||
## 7. `cutvideo` 实拍剪辑链路验证
|
||||
|
||||
调用 `POST /v2/pipelines/real-cut`
|
||||
@@ -187,6 +206,6 @@ docker compose up -d --build
|
||||
|
||||
## 9. 当前已知卡点
|
||||
|
||||
- Windows 机器上的 `cutvideo` 还需要部署带 `POST /api/uploads` 的新分支版本
|
||||
- 抖音 / 小红书账号级内容源还未做真实平台验证
|
||||
- 抖音 public 页面直抓会命中反爬挑战;生产接入仍需要 cookie 或人工页面采集协助
|
||||
- 小红书账号级内容源还未做真实平台验证
|
||||
- `huobao-drama` 目前跑通依赖本地旧改版中的 qnaigc 兼容补丁,下一步要迁到 upstream 仓库
|
||||
|
||||
@@ -19,6 +19,8 @@
|
||||
- `upload_video -> source_job_id -> cutvideo` 自动 staging 闭环
|
||||
- `collector` live 运行态已从临时源码挂载切回 `StoryForge-gitea` 正式镜像
|
||||
- live `collector` 已挂出 `/v2/douyin/*` 能力并通过认证接口验证
|
||||
- `douyin` 支持从分享文案中提取 `profile_url`,并在 public 页面命中抖音反爬挑战时返回明确诊断
|
||||
- `douyin` 手工 payload 导入与账号分析链路已跑通
|
||||
- 本机 `huobao-drama` API 调度、首尾帧生成、视频生成与结果回写接口
|
||||
- FastGPT 运行时依赖删除
|
||||
|
||||
@@ -33,14 +35,16 @@
|
||||
- 实拍剪辑自动 staging 联调:`job_01a6f283cbda42e4ae692b268b811a50`
|
||||
- AI 视频链路:`job_01828c40377747cf914b51be360cc333`
|
||||
- Windows `cutvideo` 部署后联调:`job_5838515ed5c34679acd55a52cfcd424b`
|
||||
- `douyin` 手工导入账号:`dyacct_c2b62842b228406cb48f05fac16fdfdf`
|
||||
- `douyin` 账号分析报告:`dyreport_10d6b8d2d52a404192f54a3a05d44546`
|
||||
|
||||
## 尚未完全跑通
|
||||
|
||||
- 抖音 / 小红书账号级内容源还未做真实平台验证;`bilibili` 账号级 URL 已跑通
|
||||
- `douyin` 账号分析接口已上线到 live `collector`,但还没有跑过真实生产账号样例
|
||||
- 小红书账号级内容源还未做真实平台验证
|
||||
- `douyin` public 主页直抓会命中 `public_profile_anti_bot_challenge`;当前已验证手工 payload 导入和分析可作为可用兜底路径
|
||||
|
||||
## 下一步优先级
|
||||
|
||||
1. 补抖音 / 小红书账号级真实验证与必要的 URL 归一化
|
||||
2. 把 `collector` live 切换结果和部署回滚说明固化到仓库
|
||||
3. 把改动整理成提交并推送
|
||||
1. 补抖音真实账号的 cookie / 手工页面采集联调,以及小红书账号级验证
|
||||
2. 跑一轮 `douyin` 相似账号搜索和对标关系链路
|
||||
3. 把 `collector` live 切换结果和部署回滚说明继续固化到仓库
|
||||
|
||||
Reference in New Issue
Block a user