WebCPM

WebCPM 是一个基于交互式网页搜索的中文长文本问答（Long-form Question Answering, LFQA）开源模型框架。它由清华大学自然语言处理实验室的研究人员开发，并在自然语言处理顶级会议 ACL 2023 上发表。

WebCPM 的主要特点和功能包括：

1. 交互式网页搜索：WebCPM 能够模拟人类与搜索引擎的交互行为，通过多轮搜索和信息浏览来收集回答问题所需的事实性知识。
2. 信息检索与合成：它采用检索-综合范式，包括信息检索和信息综合两个核心环节，以生成详细且连贯的答案。
3. 开源数据集：WebCPM 提供了一个基于交互式网页搜索的公开问答数据集（IWSQA），包含5500个高质量的问题-答案对，以及大量的支持事实和网页搜索动作。
4. 模块化框架：WebCPM 的框架包括搜索模型和答案综合模型。搜索模型进一步分为动作预测、查询语句生成和支持事实摘要三个子任务。
5. 模型训练：使用多达100亿参数的预训练模型进行微调，以模仿人类的网页搜索行为，并根据收集到的事实生成答案。
6. 开源实现：WebCPM 提供了开源的网页搜索界面、数据集、实现方法和模型参数，以促进该领域的研究和应用。
7. 实验评估：在实验中，WebCPM 在32.5%的情况下生成的答案不逊于人类，并且在DuReader数据集上，有47.5%的情况下生成的答案优于人工标注的答案。

WebCPM 的研究工作为中文长文本问答领域提供了新的数据集和方法论，展示了大模型在处理复杂问答任务时的潜力。通过开源其资源，WebCPM 鼓励更多的研究者和开发者参与到这一领域的探索和发展中。