DaoRen 项目系列

集 Web 爬虫与 Blazor Web 应用于一体的综合性解决方案,提供高效、可靠的网络数据采集与管理服务,助力企业实现数据驱动的决策与发展。

DaoRenCrawler 运行演示

项目简介

DaoRen 项目系列是一套集 Web 爬虫与 Blazor Web 应用于一体的综合性解决方案,由 DaoRenCrawler(WPF 桌面爬虫应用)和 DaoRenBlazor(Blazor Web 管理系统)两个核心项目组成。

DaoRenCrawler

基于 WPF 的桌面爬虫应用,提供直观的可视化流程设计界面,支持多浏览器实例管理与灵活的参数配置。

DaoRenBlazor

基于 Blazor Server 的 Web 管理系统,提供任务管理、流程定义、实时监控与 RESTful API 接口。

核心价值

可视化流程设计
自动化数据采集
跨平台任务管理
企业级解决方案

架构设计

核心技术栈

DaoRenCrawler (WPF 桌面应用)

  • 开发框架:WPF (.NET 8)
  • Web 自动化:PuppeteerSharp(强大的浏览器自动化库)
  • 数据处理:Newtonsoft.Json(JSON 序列化/反序列化)
  • 依赖注入:Microsoft.Extensions.DependencyInjection
  • 数据解析:AngleSharp(HTML 解析库)

DaoRenBlazor (Web 应用)

  • 前端框架:Blazor Server(.NET 8)
  • 后端框架:ASP.NET Core 8
  • 数据库:SQLite(轻量级嵌入式数据库)
  • 身份验证:JWT(JSON Web Token)
  • API 文档:Swagger/OpenAPI

架构特点

DaoRenCrawler 架构

  • 采用 MVVM 架构模式,实现界面与业务逻辑分离
  • 模块化设计,包含浏览器管理、流程设计、爬虫执行等核心模块
  • 支持流程节点的可视化设计与配置
  • 提供灵活的参数传递与处理机制

DaoRenBlazor 架构

  • 采用 Blazor Server 架构,实现前后端一体化开发
  • 分层架构设计,包含控制器、服务层、数据访问层
  • 集成 JWT 认证,确保 API 安全
  • 内置任务调度与管理系统
  • 支持 RESTful API 接口,便于与其他系统集成

关键技术创新点

01

流程可视化设计

通过图形化界面设计爬虫流程,降低使用门槛,无需编写代码即可实现复杂的数据采集任务。

02

动态参数传递

支持节点间参数的动态关联与传递,提高流程的灵活性与可复用性。

03

多浏览器管理

高效管理多个浏览器实例,提高爬取效率与稳定性。

04

智能错误处理

内置重试机制与超时管理,提高系统稳定性。

05

跨平台支持

Blazor 应用支持多设备访问,WPF 应用提供桌面级体验。

06

数据安全保障

JWT 认证与权限控制,确保数据安全与系统访问控制。

核心功能

DaoRenCrawler 核心功能

流程设计器

提供直观的可视化流程设计界面,支持节点的拖拽、连接与配置,用户可以轻松设计复杂的爬虫流程。

浏览器实例管理

支持多浏览器实例的创建、管理与监控,提高爬取效率与稳定性。

网页调试工具

内置网页调试功能,支持元素选择、内容查看与交互测试,便于调试爬虫流程。

流程执行与监控

支持流程的单步执行与完整执行,提供实时的执行状态与日志输出。

参数配置与管理

支持灵活的参数配置,包括固定参数、动态参数与默认参数,适应不同场景的需求。

DaoRenBlazor 核心功能

任务管理系统

提供任务的创建、编辑、执行与监控功能,支持任务队列管理与优先级设置。

流程定义管理

支持流程定义的创建、编辑与管理,可导入/导出流程配置。

用户认证与授权

基于 JWT 的身份认证系统,支持用户注册、登录与权限管理。

实时监控面板

提供任务执行状态、系统资源使用情况的实时监控与可视化展示。

RESTful API 接口

提供完整的 RESTful API 接口,支持与其他系统的集成。

日志管理

内置详细的日志记录与查询功能,便于问题排查与系统维护。

项目优势

核心竞争力

技术先进性

采用最新的 .NET 8 框架,结合 PuppeteerSharp 与 Blazor 技术,实现高效的 Web 自动化与现代化的 Web 应用。

架构灵活性

模块化设计与分层架构,便于功能扩展与定制开发。

用户友好

直观的可视化界面与流程设计器,降低使用门槛。

跨平台支持

Blazor 应用支持多设备访问,WPF 应用提供桌面级体验。

稳定可靠

内置重试机制、超时管理与错误处理,确保系统稳定运行。

安全保障

JWT 认证与权限控制,确保数据安全与系统访问控制。

完整生态

集爬虫工具与管理系统于一体,提供完整的解决方案。

实时监控

提供任务执行状态与系统资源的实时监控,便于及时发现与解决问题。

独特优势

流程可视化

通过图形化界面设计爬虫流程,无需编写代码即可实现复杂的数据采集任务。

动态参数传递

支持节点间参数的动态关联与传递,提高流程的灵活性与可复用性。

多浏览器管理

高效管理多个浏览器实例,提高爬取效率与稳定性。

API 集成

完整的 RESTful API 接口,便于与其他系统集成,实现自动化管理。

开始使用 DaoRen

无论您是需要批量数据采集、信息监控还是自动化测试,DaoRen 项目系列都能为您提供专业、高效的工具支持。

联系我们