🚀 پروژه Crawl4AI؛ وبکراولینگ برای دنیای AIاگر با RAG، AI Agent یا Data Pipeline کار میکنید و نیا…
انتشار: 2026/07/29 14:47 UTC
🚀 پروژه Crawl4AI؛ وبکراولینگ برای دنیای AIاگر با RAG، AI Agent یا Data Pipeline کار میکنید و نیاز دارید اطلاعات وبسایتها رو به شکلی تمیز و قابل استفاده برای مدلهای زبانی استخراج کنید، Crawl4AI میتونه ابزار خیلی جالبی باشه.Crawl4AI یک پروژهی Open Source برای Web Crawling و Web Scraping هست که محتوای صفحات وب رو به خروجیهای ساختاریافته و LLM-friendly تبدیل میکنه.چندتا از قابلیتهای جذابش:🔹 تبدیل محتوای وب به Markdown تمیز و مناسب برای LLM🔹 استخراج دادههای ساختاریافته با CSS / XPath و LLM🔹 پشتیبانی از صفحات Dynamic و اجرای JavaScript🔹 قابلیت Deep Crawling و Crawling چندین URL🔹 مدیریت Session، Cookie و Proxy🔹 امکان استفاده در پروژههای RAG و AI Agent🔹 اجرای سریع و Async🔹کاملا Open Source و قابل اجرا روی زیرساخت خودتونبه نظرم اگر دارید روی پروژههای AI، RAG یا Agentic Workflow کار میکنید، ارزش داره یه نگاهی بهش بندازید. 👀🌐 Website & Documentation:crawl4ai.com💻 GitHub:GitHub Repository#AI #LLM #RAG #AIAgents #WebScraping #WebCrawler #OpenSource #Python@negar
