基于探索驱动的大模型对齐方法copo：赋予llm探索能力，突破性能边界
AIxiv专栏持续报道全球顶尖AI研究成果。 如果您有优秀的研究成果，欢迎投稿至liyazhou@jiqizhixin.com或zhaoyunfeng@jiqizhixin.com。
自然界生物的探索精神驱动着进化，人类亦是如此。 在人工智能领域，尤其大型语言模型（LLM）的研究中，赋予LLM类似的探索能力，是突破其现有能力边界，提升性能和安全性的关键。
中国电信人工智能研究院（TeleAI）院长李学龙教授团队，联合清华大学、香港城市大学等机构，基于全模态星辰大模型体系，提出了一种新型探索驱动的大模型对齐方法——Count-based Online Preference Optimization (COPO)。 COPO将人类的探索本能融入LLM的后训练（Post-Training）阶段，引导模型在人类反馈强化学习（RLHF）框架下主动探索未知知识，有效解决了现有对齐框架受限于偏好数据集覆盖范围的问题。 该研究为智传网（AI Flow）“基于连接与交互的智能涌现”提供了重要技术支撑，使模型在动态交互中持续学习和进步。 相关论文已被ICLR 2025录用，TeleAI研究科学家白辰甲为第一作者。
- 论文标题: Online Preference Alignment for Language Models via Count-based Exploration
- 论文地址: https://www.php.cn/link/8295ef3608eee6550ef7ef27d4000177
- 开源代码: https://www.php.cn/link/db90e948252c7d1753efe6fc9612dabe
研究背景与挑战
尽管LLM在多种语言任务中表现出色，但其与人类价值观和意图的对齐仍面临挑战。 现有的RLHF框架依赖预先收集的偏好数据集，其性能受限于数据集对提示-回复（Prompt-Response）的覆盖范围。 收集高质量偏好数据集成本高昂，且难以覆盖所有可能情况。
因此，研究人员开始探索在线RLHF，让LLM在与语言环境交互中持续学习。 COPO旨在解决在线RLHF中的核心问题：如何高效探索语言空间，以扩大偏好数据覆盖范围。
COPO方法
COPO通过结合基于计数的探索和直接偏好优化（DPO）框架，利用轻量级伪计数模块平衡探索和优化。 该方法在理论上对线性奖励函数和离散状态空间进行了分析，并提供了误差界限和置信集合。
COPO的核心在于其探索机制，它通过增加对较少产生的提示-回复组合的对数似然，鼓励模型生成新的回复，从而解决探索-利用权衡问题。 研究证明，COPO算法的在线学习范式能够将总后悔值限制在O(√T)量级。
算法细节
COPO算法框架基于DPO，将乐观探索项转化为基于状态-动作计数的学习目标。 由于语言空间的无限性，COPO使用Coin Flipping Network (CFN)来估计“伪计数”，该网络通过一个简单的回归问题来预测基于计数的探索奖励。 CFN利用Rademacher试验来模拟计数，并接受LLM提取的提示-回复对的最后隐藏状态作为输入，输出与状态“伪计数”成反比的预测值。
实验结果与结论
实验在Zephyr-7B和Llama3-8B模型上进行，使用了UltraFeedback 60K偏好数据集和PairRM 0.4B奖励模型。 结果显示，COPO在AlpacaEval 2.0和MT-Bench基准测试中显著提升了模型性能，超越了其他在线对齐方法，并以8B的模型容量超越了许多大体量模型的性能。 这证明了COPO在提升LLM探索能力、扩大数据覆盖范围和优化策略方面的有效性。
团队介绍
李学龙教授，中国电信集团CTO、首席科学家、TeleAI院长，主要关注大模型、智能光电、临地安防和智传网（AI Flow）。
