MCP server

D4Vinci/Scrapling

🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

Sao
104.838
+7 ngày
—
Fork
10.967
Ngôn ngữ
Python
Giấy phép
BSD-3-Clause
Cập nhật code
17/11/2026

Tóm tắt

Tóm tắt do AI viết từ README, có thể chưa chính xác.

Framework thu thập dữ liệu web bằng Python này kết hợp các HTTP request, trình duyệt ẩn danh tự động hóa và bộ phân tích cú pháp trong cùng một thư viện. Công cụ cung cấp hệ thống spider hỗ trợ cào dữ liệu đồng thời, tạm dừng và tiếp tục phiên làm việc, xoay vòng proxy và xuất dữ liệu sang JSON hoặc CSV. Thư viện cũng tích hợp MCP server để AI agent duyệt web, xử lý Turnstile và trích xuất Markdown.

Dùng khi

  • Cần xây dựng crawler tự động hóa trình duyệt ẩn danh, xoay vòng proxy và hỗ trợ tạm dừng tiếp tục
  • Cần thiết lập MCP server để AI agent duyệt web và xử lý các trang có Cloudflare Turnstile
  • Muốn trích xuất trực tiếp nội dung trang web thành Markdown phục vụ cho pipeline LLM hoặc RAG

Cài đặt

pip
pip install "scrapling[shell]"
pip
pip install scrapling
pip
pip install "scrapling[fetchers]"

Lệnh trích nguyên văn từ README của repo. Đọc README trước khi chạy.

Số sao 90 ngày

Đang thu thập: có 2/90 ngày. Biểu đồ hiện khi có từ 7 ngày.

Gõ để tìm trong tra cứu, mẫu cấu hình và bài học. Không dấu cũng được.