論文の概要: Reviving The Classics: Active Reward Modeling in Large Language Model Alignment
- arxiv url: http://arxiv.org/abs/2502.04354v1
- Date: Tue, 04 Feb 2025 18:47:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-10 18:29:32.818306
- Title: Reviving The Classics: Active Reward Modeling in Large Language Model Alignment
- Title（参考訳）: 古典の復活:大規模言語モデルアライメントにおけるアクティブリワードモデリング
- Authors: Yunyi Shen, Hao Sun, Jean-François Ton,
- Abstract要約: 人間の好みからニューラル報酬モデルを構築することは、強化学習において重要な要素である。
人間のアノテーションの不足と高いコストを考えると、アノテートする最も情報に富んだペアをどうやって選ぶかは、不可欠だが挑戦的なオープンな問題である。
我々は、フィッシャー情報に基づく選択戦略を提案し、古典的な実験設計文献から理論を適応させ、それらをディープニューラルネットワークに基づく報酬モデリングタスクの最終線形層に適用する。
- 参考スコア（独自算出の注目度）: 7.041595238178957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Building neural reward models from human preferences is a pivotal component in reinforcement learning from human feedback (RLHF) and large language model alignment research. Given the scarcity and high cost of human annotation, how to select the most informative pairs to annotate is an essential yet challenging open problem. In this work, we highlight the insight that an ideal comparison dataset for reward modeling should balance exploration of the representation space and make informative comparisons between pairs with moderate reward differences. Technically, challenges arise in quantifying the two objectives and efficiently prioritizing the comparisons to be annotated. To address this, we propose the Fisher information-based selection strategies, adapt theories from the classical experimental design literature, and apply them to the final linear layer of the deep neural network-based reward modeling tasks. Empirically, our method demonstrates remarkable performance, high computational efficiency, and stability compared to other selection methods from deep learning and classical statistical literature across multiple open-source LLMs and datasets. Further ablation studies reveal that incorporating cross-prompt comparisons in active reward modeling significantly enhances labeling efficiency, shedding light on the potential for improved annotation strategies in RLHF.
- Abstract（参考訳）: 人間の好みからニューラル報酬モデルを構築することは、人間のフィードバック(RLHF)と大規模言語モデルアライメント研究からの強化学習において重要な要素である。
人間のアノテーションの不足と高いコストを考えると、アノテートする最も情報に富んだペアをどうやって選ぶかは、不可欠だが挑戦的なオープンな問題である。
本研究では,報奨モデルのための理想的な比較データセットは,表現空間のバランスを保ち,適度な報奨差を持つペア間の情報的比較を行うべきであるという知見を強調した。
技術的には、2つの目的を定量化し、アノテートすべき比較を効率的に優先順位付けする。
そこで本研究では、フィッシャー情報に基づく選択戦略を提案し、古典的な実験設計文献から理論を適応させ、ニューラルネットワークに基づく報酬モデリングタスクの最終線形層に適用する。
提案手法は,複数のオープンソースLLMおよびデータセットを対象としたディープラーニングや古典統計学の他の選択手法と比較して,優れた性能,高い計算効率,安定性を示す。
さらなるアブレーション研究により、能動報酬モデリングにクロスプロンプト比較を組み込むことでラベリング効率が著しく向上し、RLHFにおけるアノテーション戦略の改善の可能性に光を当てることが明らかとなった。
関連論文リスト
- Contextual Online Uncertainty-Aware Preference Learning for Human Feedback [13.478503755314344]
RLHF(Reinforcement Learning from Human Feedback)は人工知能において重要なパラダイムとなっている。
最適モデルに基づくオンライン意思決定と統計的推測を同時に行うための新しい統計的枠組みを提案する。
本稿では,大規模マルチタスク言語理解データセット上での大規模言語モデルのランク付けのための人間の嗜好データ分析に,提案手法を適用した。
論文 参考訳（メタデータ） (2025-04-27T19:59:11Z) - Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
モデルサイズ,トレーニングデータスケール,推論時間計算が生成的検索性能にどのように影響するかを検討する。
実験の結果,n-gram-based method はトレーニング法と推論法の両方と強く一致していることがわかった。
LLaMAモデルはT5モデルより一貫して優れており、生成検索におけるデコーダのみの大きなモデルに対して特に有利であることが示唆された。
論文 参考訳（メタデータ） (2025-03-24T17:59:03Z) - Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
本稿では,応答条件付きBradley-Terryモデルを提案する。
また、大規模言語モデルの直接ポリシー最適化(DPO)にRc-BTモデルを利用するRc-DPOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-02T14:50:25Z) - Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning [19.962212551963383]
アクティブラーニング(AL)は、モデルがユーザフィードバックからインタラクティブに学習することを可能にする。
本稿では,ALに反実データ拡張手法を提案する。
論文 参考訳（メタデータ） (2024-08-07T14:55:04Z) - Towards Understanding the Influence of Reward Margin on Preference Model Performance [8.891183078634786]
本研究では,人間のアノテータからの詳細なラベルを必要とせず,好みの違いを推定する新しい手法を提案する。
実験の結果,トレーニングプロセスにマージン値を組み込むことで,報酬モデルの有効性が著しく向上することを示す実証的証拠が得られた。
論文 参考訳（メタデータ） (2024-04-07T12:10:04Z) - Iterative Data Smoothing: Mitigating Reward Overfitting and
Overoptimization in RLHF [79.98542868281471]
強化学習(Reinforcement Learning from Human Feedback, RLHF)は、言語モデルを人間中心の値と密接に整合させる手法である。
学習した報奨モデルに対して過度に最適化すると、最終的には真の目的が損なわれることが観察された。
本稿では、これらの問題を考察し、「Iterative Data Smoothing」(IDS)と呼ばれる改良された報酬学習アルゴリズムの設計に理論的知見を活用する。
論文 参考訳（メタデータ） (2024-01-29T17:43:42Z) - Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。
また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文 参考訳（メタデータ） (2024-01-11T17:56:59Z) - The History and Risks of Reinforcement Learning and Human Feedback [0.16843915833103415]
人間からのフィードバックからの強化学習(RLHF)は、大規模言語モデルをより使いやすく、より効果的にするための強力なテクニックとして登場した。
RLHFプロセスの中核は、最適化のための報酬関数として機能する人間の好みのモデルのトレーニングと利用である。
RLHF報酬モデルはしばしばパフォーマンスの達成の中心として言及されるが、能力、評価、トレーニング方法、オープンソースのモデルに関する記述はごくわずかである。
論文 参考訳（メタデータ） (2023-10-20T15:45:16Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:00:09Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。