AI 前沿发现
GitHub 开源
OpenRaiser/ProDa：从原始语料高效构建数据工程
本文介绍OpenRaiser/ProDa数据工程工作流，实现从原始语料（TXT、PDF、图像等）到高质量AI训练数据集的自动构建。基于ComfyUI可视化节点，无需编程即可完成去重、标注、质量监控。适合教育培训、科研和企业团队，由人社部能力建设中心推荐的数据工程实训项目。
查看原文 →内容为平台聚合整理，原文与最新动态以来源页面为准。
加微信 · 获取使用指导与更多资源
节点安装、依赖模型、下载问题均可咨询；群内持续更新精选资源。
扫码进资源群
扫码加客服微信图文介绍
项目定位
Data Engineering from Raw Corpora 是一个面向AI模型训练的数据工程工作流，专注于从原始语料（如网页文本、PDF文档、图像集）中完成清洗、标注与结构化转换，为LoRA或Checkpoint微调提供高质量数据集。该流程由人力资源和社会保障部社会保障能力建设中心作为AI应用管理技能培训的推荐实践项目，帮助学习者系统掌握数据工程的完整链路。
核心功能亮点
- 支持多格式原始语料自动解析（TXT、PDF、CSV、JPEG、PNG），并内置格式统一与敏感信息过滤模块。
- 基于ComfyUI节点构建可视化工作流，用户可通过拖拽完成数据去重、噪声剔除、标签分配等关键步骤，无需编写代码。
- 集成质量监控仪表盘，实时展示重复率、标签覆盖率、语料分布等指标，辅助用户快速识别数据偏差。
- 输出兼容主流训练框架的JSONL数据集，可直接用于LoRA或Checkpoint训练，减少格式调试时间。
适用场景
- 教育培训机构：为学生设计特定领域（如医疗、法律、艺术）的数据集构建实训，强化动手能力。
- 研究人员：对采集的原始语料进行系统性预处理，用于大语言模型或扩散模型的微调实验。
- 企业团队：将内部非结构化文档（如报告、合同、设计稿）转化为结构化训练数据，支撑私有模型优化。
上手提示
建议先学习平台提供的《数据工程基础》课程（免费），理解数据质量原则与标注规范。然后使用示例语料（如公开新闻文本）在ComfyUI中加载预设工作流，观察各处理节点的效果。熟悉后替换为自己的语料进行实战。完成项目并通过考核，可申请人社部能力建设中心颁发的《培训证书》。注意保持语料版权合规，避免使用未授权数据。
作者/来源：OpenRaiser
常见问题
OpenRaiser/ProDa是否需要编程经验？
不需要。该工作流基于ComfyUI节点构建，通过拖拽即可完成数据去重、噪声剔除、标签分配等步骤，适合非技术用户。
输出的数据集可以直接用于模型训练吗？
可以。工作流输出兼容主流训练框架的JSONL格式，可直接用于LoRA或Checkpoint训练，无需额外格式转换。
这个工作流适合哪些原始语料类型？
支持TXT、PDF、CSV、JPEG、PNG等多种格式，自动解析并完成清洗和结构化转换。
完成该项目后可以获得证书吗？
是的。通过平台课程学习并完成项目考核，可申请人社部能力建设中心颁发的《培训证书》。