生成式话语模子在从磨砺到本体哄骗的历程中濒临着好多挑战七天 白虎。其中一个主要问题是如安在推理阶段使模子达到最好发扬。

捆绑 调教

当今的对策，如通过东谈主类反馈的强化学习（RLHF），主要结合在提高模子的胜率上，但延续淡薄了推理时的解码战略，举例 Best-of-N 采样和抛弃解码。这种磨砺规画与本体使用之间的差距，可能导致恶果低下，影响输出的质料和可靠性。

为了管理这些问题，谷歌 DeepMind 和谷歌计划团队修复了 InfAlign，这是一个旨在与推理战略相结合的机器学习框架。InfAlign 将推理时的顺次纳入对都历程七天 白虎，奋力弥补磨砺与哄骗之间的限度。它通过一种校准的强化学习顺次来疗养基于特定推理战略的奖励函数。InfAlign 对 Best-of-N 采样（生成多个反应并继承最好者）和 Worst-of-N(常用于安全评估)等技艺畸形有用，确保对都的模子在抛弃环境和执行场景中都能发扬精雅。

InfAlign 的中枢是校准与变换强化学习（CTRL）算法，该算法罢免三个顺次:校准奖励分数、阐述推理战略变换这些分数、管理一个 KL 正则化的优化问题。通过将奖励变换定制化到特定场景，InfAlign 将磨砺规画与推理需求对都。这种顺次不仅晋升了推理时的胜率，还保捏了揣度恶果。此外，InfAlign 增强了模子的鲁棒性，使其偶然有用搪塞多样解码战略，并产生一致的高质料输出。

在使用 Anthropic 的有用性和无害性数据集进行的实验中，InfAlign 的有用性得回了考证。与现存顺次比较，InfAlign 在 Best-of-N 采样的推理胜率上提高了8%-12%，在 Worst-of-N 安全评估中则提高了4%-9%。这些改良收货于其校准的奖励变换，有用管理了奖励模子的误校准问题，确保了在不同推理场景下的一致发扬。

InfAlign 在生成话语模子的对都方面代表了一项伏击的进展。通过结合推理感知的战略，InfAlign 管理了磨砺与部署之间的要害互异。它塌实的表面基础和实证收尾突显了其在全面改善 AI 系统对都方面的后劲。

肃清:https://arxiv.org/abs/2412.19792

划重心:🌟 InfAlign 是谷歌 DeepMind 修复的新框架，旨在晋升话语模子在推理阶段的发扬。 📈 该框架通过校准的强化学习顺次，疗养推理战略的奖励函数，已毕磨砺规画与推理需求的对都。 ✅ 实验收尾标明，InfAlign 在多项任务中显赫提高了模子的推理胜率七天 白虎，展现出精雅的允洽性和可靠性。