論文の概要: Learning from Reference Answers: Versatile Language Model Alignment without Binary Human Preference Data

• arxiv url: http://arxiv.org/abs/2504.09895v2
• Date: Sun, 22 Jun 2025 13:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 14:54:00.268179
• Title: Learning from Reference Answers: Versatile Language Model Alignment without Binary Human Preference Data
• Title（参考訳）: 参考回答から学ぶ:二元的人間の選好データを持たない言語モデルアライメント
• Authors: Shuai Zhao, Linchao Zhu, Yi Yang,
• Abstract要約: 類似報酬は二分選好データ収集と報奨モデルを回避する。 RefAlignは、参照モデルや報酬モデルに依存しない汎用的なREINFORCEスタイルのアライメントアルゴリズムである。
• 参考スコア（独自算出の注目度）: 56.72693923645586
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models~(LLMs) are expected to be helpful, harmless, and honest. In alignment scenarios such as safety, confidence, and general preference alignment, binary preference data collection and reward modeling are resource-intensive but essential for transferring human preference. In this work, we explore using the similarity between sampled generations and high-quality reference answers as an alternative reward function choice for LLM alignment. Similarity reward circumvents binary preference data collection and reward modeling when unary high-quality reference answers are available. We introduce \textit{RefAlign}, a versatile REINFORCE-style alignment algorithm that does not rely on reference or reward models. RefAlign utilizes similarity metrics, such as BERTScore between sampled generations and reference answers as surrogate rewards. Beyond general human preference optimization, RefAlign can be readily extended to diverse scenarios, such as safety and confidence alignment, by incorporating the similarity reward with task-related objectives. In various scenarios, RefAlign demonstrates comparable performance to previous alignment methods without binary preference data and reward models.
• Abstract（参考訳）: 大規模言語モデル~(LLM)は有用で、無害で、正直であると期待されている。 安全性、信頼性、一般的な嗜好アライメントといったアライメントシナリオでは、バイナリな選好データ収集と報奨モデリングはリソース集約であるが、人間の選好の伝達には不可欠である。 本研究では,LLMアライメントのための代替報酬関数選択として,サンプル世代と高品質参照応答の類似性について検討する。 類似性報酬は、一意の高品質な参照回答が利用できる場合、二分選好データ収集と報奨モデリングを回避する。 参照モデルや報酬モデルに依存しない汎用REINFORCEスタイルアライメントアルゴリズムである \textit{RefAlign} を導入する。 RefAlignは、サンプル世代間のBERTScoreのような類似度メトリクスと、サロゲート報酬として参照回答を利用する。 一般的な人間の嗜好の最適化以外にも、RefAlignはタスク関連の目的と類似性報酬を組み込むことで、安全性や信頼性アライメントといったさまざまなシナリオに容易に拡張できる。 さまざまなシナリオにおいて、RefAlignはバイナリの好みデータや報酬モデルなしで、以前のアライメントメソッドに匹敵するパフォーマンスを示す。

関連論文リスト

• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• LRHP: Learning Representations for Human Preferences via Preference Pairs [45.056558199304554]
  本研究では、よりリッチで構造化された人間の嗜好表現を構築することを目的とした嗜好表現学習タスクを提案する。 選好データ選択と選好マージン予測という2つの下流タスクにおける選好表現の有用性を検証する。
  論文  参考訳（メタデータ） (2024-10-06T14:48:28Z)
• Ordinal Preference Optimization: Aligning Human Preferences via NDCG [28.745322441961438]
  我々は、NDCGを異なる代理損失で近似することで、エンドツーエンドの選好最適化アルゴリズムを開発する。 OPOは、AlpacaEvalのような評価セットや一般的なベンチマークにおいて、既存のペアワイズおよびリストワイズアプローチよりも優れています。
  論文  参考訳（メタデータ） (2024-10-06T03:49:28Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• PAL: Pluralistic Alignment Framework for Learning from Heterogeneous Preferences [6.398937923320069]
  我々は、既存の事前学習戦略を補完する人間の嗜好をモデル化するフレームワークであるPALを提案する。 PALは,強いベースラインと比較して,競争報酬モデルの精度が向上することを示す。
  論文  参考訳（メタデータ） (2024-06-12T17:54:54Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
  我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。 特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。 我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
  論文  参考訳（メタデータ） (2021-02-24T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。