文旅获客数据底座 · 数据采集工具
v2(当前):服务「短视频钩子 → 专属小地图 → 留资/到店 → B 端结算」这条链路。 v1(保留):广东省中小企业调研工具,旧库
data/sme.db与旧脚本不动。 设计说明:UPGRADE.md
POI 数据源比选:docs/POI数据源比选方案-V0.1-20261113.md
接入条件(刚需):接入条件/README.md
一、v2 解决什么问题
只采五类数据,不做大而全:
① 供给:景区 / 商户 / POI / 产品权益
② 内容:达人 / 短视频 / 评论
③ 需求:线索 / 留资 / 小地图
④ 履约:到店 / 核销
⑤ 结算:B端客户 / 合同 / 结算单
对应的问题:
- 这条视频给谁看?→ 达人、视频、播放/互动
- 谁被勾进来了?→ 评论、私信、线索
- 我们交付了什么?→ 小地图、POI、路线
- 有没有到店?→ 核销码、到店记录、金额
- B 端该付多少钱?→ 合同、单价、结算单
二、快速开始(v2)
cd 数据采集工具
# 1. 建库:贵州 9 市州 + 广东 21 市、8 个文旅数据源
python3 scripts/init_v2.py --db data/tourism.db --reset
# 2. 导入样例(景区/POI/达人/视频/评论/线索)
for t in scenics pois creators videos comments leads; do
python3 -m collectors.csv_import "$t" --file "data/examples/$t.csv" --db data/tourism.db
done
# 3. 导出
python3 scripts/export_v2.py scenics
python3 scripts/export_v2.py pois --city 贵阳市
python3 scripts/export_v2.py leads # 默认脱敏
python3 scripts/export_v2.py funnel
python3 scripts/export_v2.py settlements
# 4. 质量检查(无 critical 退出码 0)
python3 scripts/check_v2.py --db data/tourism.db
# 5. 单测
python3 -m unittest discover -s tests -v三、v2 目录
数据采集工具/
├── config/
│ ├── regions.json # 贵州 9 市州 + 广东 21 市
│ ├── tourism_sources.json # 文旅数据源(景区/度假区/POI/抖音/招投标)
│ └── ... # v1 的 cities/sources/sizing 保留
├── db/
│ ├── schema_v2.sql # 文旅获客数据底座
│ └── schema.sql # v1 旧库
├── collectors/
│ ├── store_v2.py # 建库/去重入库/原始快照/运行日志
│ ├── csv_import.py # 景区/POI/达人/视频/评论/线索 CSV 导入
│ ├── gov_tourism.py # 政府景区/度假区名单
│ ├── amap_poi.py # 高德 POI(官方 API,需 AMAP_KEY)
│ ├── gov_lists.py # v1 企业公示名单(保留)
│ ├── stats_yearbook.py # v1 统计公报(保留)
│ └── ...
├── scripts/
│ ├── init_v2.py # 建 v2 库
│ ├── export_v2.py # 导出景区/POI/线索/漏斗/结算
│ ├── check_v2.py # 数据质量检查
│ └── ... # v1 init/export/classify 保留
├── tests/test_v2.py # v2 单测
├── data/examples/ # 样例 CSV
└── UPGRADE.md # 升级设计说明
四、v2 数据表
| 域 | 表 | 用途 |
|---|---|---|
| 区域 | regions |
贵州/广东行政区划 |
| 数据源 | data_sources |
来源、合规、状态 |
| 供给 | scenic_areas / pois / poi_products |
景区、商户、产品权益 |
| 内容 | creators / videos / comments |
达人、视频、评论 |
| 需求 | leads / map_assets |
线索、留资、小地图 |
| 履约 | visits |
到店/核销 |
| 结算 | b_customers / contracts / settlements |
B 端客户、合同、结算 |
| 治理 | raw_artifacts / collection_runs |
原始快照、采集日志 |
五、采集器与合规
| 采集器 | 数据 | 状态 | 合规 |
|---|---|---|---|
csv_import |
景区/POI/达人/视频/评论/线索 | 可用 | 线索必须 consent=1,否则拒绝 |
gov_tourism |
A 级景区/度假区/乡村重点村 | 可用(URL 待核实) | 政府公开信息,低频 |
amap_poi |
高德 POI | 可用(需 AMAP_KEY) |
官方 API,遵守配额 |
gov_lists |
企业公示名单 | 保留 | 政府公开信息 |
stats_yearbook |
统计公报指标 | 保留 | 政府公开统计 |
不做:抖音网页版爬虫、买名单、批量外呼名单、非公开个人信息。
线索 consent
- CSV 必须含
同意/consent列,值为1/true/是才入库。 - 没有 consent 的线索会被跳过并计数,绝不默认同意。
- 导出默认只给
contact_masked(如138****8000);明文只留内部表。 - 评论只存公开文本 + 用户哈希,不存平台用户 ID 明文。
六、常用命令
# 政府景区名单(URL 核实后)
python3 -m collectors.gov_tourism --source gz_a_scenic --url "https://..." --city 安顺市
# 高德 POI
export AMAP_KEY=xxx
python3 -m collectors.amap_poi --keywords "黄果树瀑布" --city 安顺市 --pages 2
# 线索明文导出(仅内部对账)
python3 scripts/export_v2.py leads --include-contact
# 查看转化漏斗
python3 scripts/export_v2.py funnel七、v1(保留):广东中小企业调研
旧工具仍可用,命令不变:
python3 scripts/init_db.py
python3 scripts/classify.py --selftest
python3 -m collectors.gov_lists --source zjtx_gd_list --url "https://..."
python3 scripts/export.py enterprises旧库:data/sme.db。旧 schema:db/schema.sql。 v1 与 v2 是两个库、两套表,不要混用;旧企业数据不会自动迁移到景区/POI。
八、已知限制
- 贵州 A 级景区/度假区名单页 URL 仍标「待核实」,需人工确认后填
list_urls。 - 抖音只做 CSV 导入;官方 API 适配器未写,不要用爬虫替代。
- 高德 API 需 Key;未配置会直接报错。
- 没有前端看板,当前用 CSV + SQL。
contact_hash只用于去重,不是加密;生产环境需加盐/密钥管理。