← 返回知识库
2026-11-13 · 数据工具
打开原文件 ↗

文旅获客数据底座 · 数据采集工具

v2(当前):服务「短视频钩子 → 专属小地图 → 留资/到店 → B 端结算」这条链路。 v1(保留):广东省中小企业调研工具,旧库 data/sme.db 与旧脚本不动。 设计说明:UPGRADE.md
POI 数据源比选:docs/POI数据源比选方案-V0.1-20261113.md
接入条件(刚需):接入条件/README.md


一、v2 解决什么问题

只采五类数据,不做大而全:

① 供给:景区 / 商户 / POI / 产品权益
② 内容:达人 / 短视频 / 评论
③ 需求:线索 / 留资 / 小地图
④ 履约:到店 / 核销
⑤ 结算:B端客户 / 合同 / 结算单

对应的问题:


二、快速开始(v2)

cd 数据采集工具

# 1. 建库:贵州 9 市州 + 广东 21 市、8 个文旅数据源
python3 scripts/init_v2.py --db data/tourism.db --reset

# 2. 导入样例(景区/POI/达人/视频/评论/线索)
for t in scenics pois creators videos comments leads; do
  python3 -m collectors.csv_import "$t" --file "data/examples/$t.csv" --db data/tourism.db
done

# 3. 导出
python3 scripts/export_v2.py scenics
python3 scripts/export_v2.py pois --city 贵阳市
python3 scripts/export_v2.py leads          # 默认脱敏
python3 scripts/export_v2.py funnel
python3 scripts/export_v2.py settlements

# 4. 质量检查(无 critical 退出码 0)
python3 scripts/check_v2.py --db data/tourism.db

# 5. 单测
python3 -m unittest discover -s tests -v

三、v2 目录

数据采集工具/
├── config/
│   ├── regions.json            # 贵州 9 市州 + 广东 21 市
│   ├── tourism_sources.json    # 文旅数据源(景区/度假区/POI/抖音/招投标)
│   └── ...                     # v1 的 cities/sources/sizing 保留
├── db/
│   ├── schema_v2.sql           # 文旅获客数据底座
│   └── schema.sql              # v1 旧库
├── collectors/
│   ├── store_v2.py             # 建库/去重入库/原始快照/运行日志
│   ├── csv_import.py           # 景区/POI/达人/视频/评论/线索 CSV 导入
│   ├── gov_tourism.py          # 政府景区/度假区名单
│   ├── amap_poi.py             # 高德 POI(官方 API,需 AMAP_KEY)
│   ├── gov_lists.py            # v1 企业公示名单(保留)
│   ├── stats_yearbook.py       # v1 统计公报(保留)
│   └── ...
├── scripts/
│   ├── init_v2.py              # 建 v2 库
│   ├── export_v2.py            # 导出景区/POI/线索/漏斗/结算
│   ├── check_v2.py             # 数据质量检查
│   └── ...                     # v1 init/export/classify 保留
├── tests/test_v2.py            # v2 单测
├── data/examples/              # 样例 CSV
└── UPGRADE.md                  # 升级设计说明

四、v2 数据表

域 表 用途
区域 regions 贵州/广东行政区划
数据源 data_sources 来源、合规、状态
供给 scenic_areas / pois / poi_products 景区、商户、产品权益
内容 creators / videos / comments 达人、视频、评论
需求 leads / map_assets 线索、留资、小地图
履约 visits 到店/核销
结算 b_customers / contracts / settlements B 端客户、合同、结算
治理 raw_artifacts / collection_runs 原始快照、采集日志

五、采集器与合规

采集器 数据 状态 合规
csv_import 景区/POI/达人/视频/评论/线索 可用 线索必须 consent=1,否则拒绝
gov_tourism A 级景区/度假区/乡村重点村 可用(URL 待核实) 政府公开信息,低频
amap_poi 高德 POI 可用(需 AMAP_KEY) 官方 API,遵守配额
gov_lists 企业公示名单 保留 政府公开信息
stats_yearbook 统计公报指标 保留 政府公开统计

不做:抖音网页版爬虫、买名单、批量外呼名单、非公开个人信息。


六、常用命令

# 政府景区名单(URL 核实后)
python3 -m collectors.gov_tourism --source gz_a_scenic --url "https://..." --city 安顺市

# 高德 POI
export AMAP_KEY=xxx
python3 -m collectors.amap_poi --keywords "黄果树瀑布" --city 安顺市 --pages 2

# 线索明文导出(仅内部对账)
python3 scripts/export_v2.py leads --include-contact

# 查看转化漏斗
python3 scripts/export_v2.py funnel

七、v1(保留):广东中小企业调研

旧工具仍可用,命令不变:

python3 scripts/init_db.py
python3 scripts/classify.py --selftest
python3 -m collectors.gov_lists --source zjtx_gd_list --url "https://..."
python3 scripts/export.py enterprises

旧库:data/sme.db。旧 schema:db/schema.sql。 v1 与 v2 是两个库、两套表,不要混用;旧企业数据不会自动迁移到景区/POI。


八、已知限制

  1. 贵州 A 级景区/度假区名单页 URL 仍标「待核实」,需人工确认后填 list_urls。
  2. 抖音只做 CSV 导入;官方 API 适配器未写,不要用爬虫替代。
  3. 高德 API 需 Key;未配置会直接报错。
  4. 没有前端看板,当前用 CSV + SQL。
  5. contact_hash 只用于去重,不是加密;生产环境需加盐/密钥管理。