unclecode/crawl4ai
Crawler Python chạy trên Playwright. Mở trang kể cả trang nhiều JavaScript, rồi trả về Markdown sạch cho LLM đọc. Crawl sâu được, lỡ dừng giữa chừng thì chạy tiếp, và trích trường dữ liệu bằng model.
Mình chỉ lấy ý tưởngMới đọc README và vài file chính, chưa chạy thử
Mình học ý tưởng của repo này rồi chỉnh lại cho hợp với workspace của mình.
Mình dựa vào đâu để đánh giá
Mình mới đọc README và vài file chính chứ chưa test và chỉ có thể kết luận là "đã học ý tưởng" hoặc "có rủi ro", chưa thể khẳng định là tốt hơn được.
Phù hợp với
Ai đưa nhiều trang web vào RAG hoặc LLM và cần Markdown sạch.
Không phù hợp với
Ai muốn dịch vụ crawl có sẵn, không muốn tự chạy trình duyệt. Repo này bắt mình tự dựng.
Repo
- Star
- 82,084
- License
- Apache-2.0Dùng, sửa, bán đều được, kể cả trong project closed-source. Chỉ cần giữ lại thông tin bản quyền của tác giả.
- Độ hoàn thiện
- active
- Lần push gần nhất
- 2026-09-09
- Mình check lần cuối
- 2026-11-14