网络爬虫即服务

将爬取需求转化为可交付的爬虫项目。生成爬虫程序、执行任务、清洗数据，并为客户打包所有成果。

使用指南

/web-scraper-as-a-service "Scrape all products from example-store.com — need name, price, description, images. CSV output."
/web-scraper-as-a-service https://example.com --fields "title,price,rating,url" --format csv
/web-scraper-as-a-service brief.txt

爬虫生成流程

第一步：分析目标网站

在编写任何代码之前：

1. 获取目标网址以理解页面结构
2. 识别：
   • 网站是服务器端渲染（静态HTML）还是客户端渲染（JavaScript/单页应用）？
   • 存在哪些可见的反爬措施？（Cloudflare、验证码、频率限制）
   • 分页模式（URL参数、无限滚动、“加载更多”按钮）
   • 数据结构（产品卡片、表格行、列表项）
   • 预估数据总量（页面数/条目数）
3. 选择合适的工具：
   • 静态HTML → Python +requests库+BeautifulSoup
   • JavaScript渲染 → Python +playwright
   • 有API可用 → 直接调用API（检查网络标签中的请求模式）

步骤 2：构建爬虫

在scraper/目录下生成一个完整的Python脚本：

scraper/
  scrape.py           # Main scraper script
  requirements.txt    # Dependencies
  config.json         # Target URLs, fields, settings
  README.md           # Setup and usage instructions for client

scrape.py必须包含：

# Required features in every scraper:

# 1. Configuration
import json
config = json.load(open('config.json'))

# 2. Rate limiting (ALWAYS — be respectful)
import time
DELAY_BETWEEN_REQUESTS = 2  # seconds, adjustable in config

# 3. Retry logic
MAX_RETRIES = 3
RETRY_DELAY = 5

# 4. User-Agent rotation
USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...",
    # ... at least 5 user agents
]

# 5. Progress tracking
print(f"Scraping page {current}/{total} — {items_collected} items collected")

# 6. Error handling
# - Log errors but don't crash on individual page failures
# - Save progress incrementally (don't lose data on crash)
# - Write errors to error_log.txt

# 7. Output
# - Save data incrementally (append to file, don't hold in memory)
# - Support CSV and JSON output
# - Clean and normalize data before saving

# 8. Resume capability
# - Track last successfully scraped page/URL
# - Can resume from where it left off if interrupted

步骤 3：数据清洗

抓取数据后，进行数据清洗：

1. 去重（通过唯一标识符或复合键）
2. 规范化文本（去除多余空格，修复编码问题，统一大小写）
3. 验证数据（必需字段不能为空，价格是数字，URL有效）
4. 标准化格式（日期转为ISO 8601格式，货币转为数字，单位统一）
5. 生成数据质量报告第四步：客户交付成果包

   Data Quality Report
   ───────────────────
   Total records: 2,487
   Duplicates removed: 13
   Empty fields filled: 0
   Fields with issues: price (3 records had non-numeric values — cleaned)
   Completeness: 99.5%
   

生成完整的交付成果：

scraper-documentation.md

delivery/
  data.csv                    # Clean data in requested format
  data.json                   # JSON alternative
  data-quality-report.md      # Quality metrics
  scraper-documentation.md    # How the scraper works
  README.md                   # Quick start guide

包含：抓取了什么内容以及来源

• 收集了多少条记录
• 数据字段及其描述
• 如何重新运行爬虫
• 已知限制
• 抓取日期
• 第五步：输出给用户

呈现：

摘要

1. ：从Y个页面抓取了X条记录，数据质量Z%样本数据
2. ：输出的前5行文件位置
3. ：交付成果的保存位置客户交接说明
4. ：需要告知客户关于数据的哪些信息爬虫模板

Scraper Templates

根据目标类型，使用相应的模板：

电商产品抓取

字段：名称、价格、原价、折扣、描述、图片、类别、SKU、评分、评论数、库存状态、网址

房地产房源信息

字段：地址、价格、卧室数量、浴室数量、面积、地块大小、房源类型、经纪人、描述、图片、网址

招聘职位信息

字段：职位名称、公司、地点、薪资、工作类型、描述、要求、发布日期、网址

名录/商家信息

字段：商家名称、地址、电话、网站、类别、评分、评论数、营业时间、描述

新闻/博客文章

字段：标题、作者、日期、内容、标签、网址、图片

道德抓取规则

1. 始终遵守 robots.txt 规则——抓取前务必检查
2. 速率限制——请求间至少延迟2秒
3. 表明身份——使用真实且诚实的 User-Agent
4. 除非获得客户明确授权且数据为公开显示，否则请勿抓取个人数据（如电子邮件、电话号码）缓存响应结果
5. ——避免对页面进行不必要的重复抓取核查服务条款
6. ——若网站条款禁止抓取行为，需记录并告知客户— note if the site's terms prohibit scraping and inform the client