DaoRen 项目系列是一套集 Web 爬虫与 Blazor Web 应用于一体的综合性解决方案,由 DaoRenCrawler(WPF 桌面爬虫应用)和 DaoRenBlazor(Blazor Web 管理系统)两个核心项目组成。
基于 WPF 的桌面爬虫应用,提供直观的可视化流程设计界面,支持多浏览器实例管理与灵活的参数配置。
基于 Blazor Server 的 Web 管理系统,提供任务管理、流程定义、实时监控与 RESTful API 接口。
通过图形化界面设计爬虫流程,降低使用门槛,无需编写代码即可实现复杂的数据采集任务。
支持节点间参数的动态关联与传递,提高流程的灵活性与可复用性。
高效管理多个浏览器实例,提高爬取效率与稳定性。
内置重试机制与超时管理,提高系统稳定性。
Blazor 应用支持多设备访问,WPF 应用提供桌面级体验。
JWT 认证与权限控制,确保数据安全与系统访问控制。
提供直观的可视化流程设计界面,支持节点的拖拽、连接与配置,用户可以轻松设计复杂的爬虫流程。
支持多浏览器实例的创建、管理与监控,提高爬取效率与稳定性。
内置网页调试功能,支持元素选择、内容查看与交互测试,便于调试爬虫流程。
支持流程的单步执行与完整执行,提供实时的执行状态与日志输出。
支持灵活的参数配置,包括固定参数、动态参数与默认参数,适应不同场景的需求。
提供任务的创建、编辑、执行与监控功能,支持任务队列管理与优先级设置。
支持流程定义的创建、编辑与管理,可导入/导出流程配置。
基于 JWT 的身份认证系统,支持用户注册、登录与权限管理。
提供任务执行状态、系统资源使用情况的实时监控与可视化展示。
提供完整的 RESTful API 接口,支持与其他系统的集成。
内置详细的日志记录与查询功能,便于问题排查与系统维护。
采用最新的 .NET 8 框架,结合 PuppeteerSharp 与 Blazor 技术,实现高效的 Web 自动化与现代化的 Web 应用。
模块化设计与分层架构,便于功能扩展与定制开发。
直观的可视化界面与流程设计器,降低使用门槛。
Blazor 应用支持多设备访问,WPF 应用提供桌面级体验。
内置重试机制、超时管理与错误处理,确保系统稳定运行。
JWT 认证与权限控制,确保数据安全与系统访问控制。
集爬虫工具与管理系统于一体,提供完整的解决方案。
提供任务执行状态与系统资源的实时监控,便于及时发现与解决问题。
通过图形化界面设计爬虫流程,无需编写代码即可实现复杂的数据采集任务。
支持节点间参数的动态关联与传递,提高流程的灵活性与可复用性。
高效管理多个浏览器实例,提高爬取效率与稳定性。
完整的 RESTful API 接口,便于与其他系统集成,实现自动化管理。