論文の概要: Reviving The Classics: Active Reward Modeling in Large Language Model Alignment

• arxiv url: http://arxiv.org/abs/2502.04354v1
• Date: Tue, 04 Feb 2025 18:47:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:59:04.525590
• Title: Reviving The Classics: Active Reward Modeling in Large Language Model Alignment
• Title（参考訳）: 古典の復活:大規模言語モデルアライメントにおけるアクティブリワードモデリング
• Authors: Yunyi Shen, Hao Sun, Jean-François Ton,
• Abstract要約: 人間の好みからニューラル報酬モデルを構築することは、強化学習において重要な要素である。 人間のアノテーションの不足と高いコストを考えると、アノテートする最も情報に富んだペアをどうやって選ぶかは、不可欠だが挑戦的なオープンな問題である。 我々は、フィッシャー情報に基づく選択戦略を提案し、古典的な実験設計文献から理論を適応させ、それらをディープニューラルネットワークに基づく報酬モデリングタスクの最終線形層に適用する。
• 参考スコア（独自算出の注目度）: 7.041595238178957
• License:
• Abstract: Building neural reward models from human preferences is a pivotal component in reinforcement learning from human feedback (RLHF) and large language model alignment research. Given the scarcity and high cost of human annotation, how to select the most informative pairs to annotate is an essential yet challenging open problem. In this work, we highlight the insight that an ideal comparison dataset for reward modeling should balance exploration of the representation space and make informative comparisons between pairs with moderate reward differences. Technically, challenges arise in quantifying the two objectives and efficiently prioritizing the comparisons to be annotated. To address this, we propose the Fisher information-based selection strategies, adapt theories from the classical experimental design literature, and apply them to the final linear layer of the deep neural network-based reward modeling tasks. Empirically, our method demonstrates remarkable performance, high computational efficiency, and stability compared to other selection methods from deep learning and classical statistical literature across multiple open-source LLMs and datasets. Further ablation studies reveal that incorporating cross-prompt comparisons in active reward modeling significantly enhances labeling efficiency, shedding light on the potential for improved annotation strategies in RLHF.
• Abstract（参考訳）: 人間の好みからニューラル報酬モデルを構築することは、人間のフィードバック(RLHF)と大規模言語モデルアライメント研究からの強化学習において重要な要素である。 人間のアノテーションの不足と高いコストを考えると、アノテートする最も情報に富んだペアをどうやって選ぶかは、不可欠だが挑戦的なオープンな問題である。 本研究では,報奨モデルのための理想的な比較データセットは,表現空間のバランスを保ち,適度な報奨差を持つペア間の情報的比較を行うべきであるという知見を強調した。 技術的には、2つの目的を定量化し、アノテートすべき比較を効率的に優先順位付けする。 そこで本研究では、フィッシャー情報に基づく選択戦略を提案し、古典的な実験設計文献から理論を適応させ、ニューラルネットワークに基づく報酬モデリングタスクの最終線形層に適用する。 提案手法は,複数のオープンソースLLMおよびデータセットを対象としたディープラーニングや古典統計学の他の選択手法と比較して,優れた性能,高い計算効率,安定性を示す。 さらなるアブレーション研究により、能動報酬モデリングにクロスプロンプト比較を組み込むことでラベリング効率が著しく向上し、RLHFにおけるアノテーション戦略の改善の可能性に光を当てることが明らかとなった。

関連論文リスト

• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
  本稿では,応答条件付きBradley-Terryモデルを提案する。 また、大規模言語モデルの直接ポリシー最適化(DPO)にRc-BTモデルを利用するRc-DPOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-02T14:50:25Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning [19.962212551963383]
  アクティブラーニング(AL)は、モデルがユーザフィードバックからインタラクティブに学習することを可能にする。 本稿では,ALに反実データ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:55:04Z)
• Towards Understanding the Influence of Reward Margin on Preference Model Performance [8.891183078634786]
  本研究では,人間のアノテータからの詳細なラベルを必要とせず,好みの違いを推定する新しい手法を提案する。 実験の結果,トレーニングプロセスにマージン値を組み込むことで,報酬モデルの有効性が著しく向上することを示す実証的証拠が得られた。
  論文  参考訳（メタデータ） (2024-04-07T12:10:04Z)
• Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF [79.98542868281471]
  強化学習(Reinforcement Learning from Human Feedback, RLHF)は、言語モデルを人間中心の値と密接に整合させる手法である。 学習した報奨モデルに対して過度に最適化すると、最終的には真の目的が損なわれることが観察された。 本稿では、これらの問題を考察し、「Iterative Data Smoothing」(IDS)と呼ばれる改良された報酬学習アルゴリズムの設計に理論的知見を活用する。
  論文  参考訳（メタデータ） (2024-01-29T17:43:42Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• The History and Risks of Reinforcement Learning and Human Feedback [0.16843915833103415]
  人間からのフィードバックからの強化学習(RLHF)は、大規模言語モデルをより使いやすく、より効果的にするための強力なテクニックとして登場した。 RLHFプロセスの中核は、最適化のための報酬関数として機能する人間の好みのモデルのトレーニングと利用である。 RLHF報酬モデルはしばしばパフォーマンスの達成の中心として言及されるが、能力、評価、トレーニング方法、オープンソースのモデルに関する記述はごくわずかである。
  論文  参考訳（メタデータ） (2023-10-20T15:45:16Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。