論文の概要: ImplicitRM: Unbiased Reward Modeling from Implicit Preference Data for LLM alignment

• arxiv url: http://arxiv.org/abs/2603.23184v1
• Date: Tue, 24 Mar 2026 13:32:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.496694
• Title: ImplicitRM: Unbiased Reward Modeling from Implicit Preference Data for LLM alignment
• Title（参考訳）: インビシットRM:LLMアライメントのためのインビシット選好データからのアンバイアスド・リワードモデリング
• Abstract要約: 現在の報酬モデリングは、収集コストの高い実験的なフィードバックデータに大きく依存している。 ImplicitRMは、暗黙の嗜好データから偏見のない報酬モデルを学ぶことを目的としている。 実験によると、ImplicitRMは暗黙の選好データセット間で正確な報酬モデルを学ぶ。
• 参考スコア（独自算出の注目度）: 49.93516092785756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward modeling represents a long-standing challenge in reinforcement learning from human feedback (RLHF) for aligning language models. Current reward modeling is heavily contingent upon experimental feedback data with high collection costs. In this work, we study \textit{implicit reward modeling} -- learning reward models from implicit human feedback (e.g., clicks and copies) -- as a cost-effective alternative. We identify two fundamental challenges in implicit reward modeling: (1) Implicit preference data lacks definitive negative samples, which makes standard positive-negative classification methods inapplicable; (2) Implicit preference data suffers from user preference bias, where different responses have different propensities to elicit user feedback actions, which exacerbates the difficulty of distinguishing definitive negative samples. To address these challenges, we propose ImplicitRM, which aims to learn unbiased reward models from implicit preference data. ImplicitRM stratifies training samples into four latent groups via a stratification model. Building on this, it derives a learning objective through likelihood maximization, which we prove is theoretically unbiased, effectively resolving both challenges. Experiments demonstrate that ImplicitRM learns accurate reward models across implicit preference datasets. Code is available on our project website.
• Abstract（参考訳）: リワードモデリングは、言語モデルを調整するための人間フィードバック(RLHF)からの強化学習における長年にわたる課題である。 現在の報酬モデリングは、収集コストの高い実験的なフィードバックデータに大きく依存している。 本研究では、コスト効率の良い代替手段として、textit{implicit reward modeling} -- 暗黙の人間のフィードバック(例えば、クリックやコピー)から報酬モデルを学ぶ -- について研究する。 暗黙的報酬モデリングにおける基本的な課題は,(1)正の正の正の正の分類法を適用不能にする負の正のサンプルが欠如していること,(2)不入の選好データがユーザの嗜好バイアスに苦しむこと,(2)異なる応答がユーザのフィードバック行動に相応しいこと,そして負の正のサンプルの識別が困難になること,である。 これらの課題に対処するために、暗黙の嗜好データから偏見のない報酬モデルを学ぶことを目的としたImplicitRMを提案する。 ImplicitRMは、トレーニングサンプルを成層モデルにより4つの潜伏群に成層する。 これに基づいて、最大化の可能性を通じて学習目標を導出し、理論的には偏りがなく、両方の課題を効果的に解決していることを証明します。 実験によると、ImplicitRMは暗黙の選好データセット間で正確な報酬モデルを学ぶ。 コードはプロジェクトのWebサイトで公開されている。

関連論文リスト

• CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks [65.44788139573144]
  我々は、スケーラブルで費用対効果の高い代替手段として、観察的報酬モデル(観察的ユーザフィードバックを伴う報酬モデル)を導入します。 CaulRMは、観察フィードバックから偏見のない報酬モデルを学ぶことを目指している。 実験では、CausalRMがノイズや偏りのある観測フィードバックから正確な報酬信号を効果的に学習することを検証する。
  論文  参考訳（メタデータ） (2026-03-19T10:37:34Z)
• Debiasing Reward Models by Representation Learning with Guarantees [20.170532007501883]
  本稿では,報酬モデルにおける素早い相関問題を緩和する原理的枠組みを提案する。 本研究では, 余剰潜伏変数のサロゲートが利用できるかどうかに関わらず, 理論上はデータから非純粋潜伏変数を識別可能であることを示す。 合成および実世界のデータセットに関する実験により、我々の手法は効果的な相関問題を緩和し、より堅牢な報酬モデルが得られることを示した。
  論文  参考訳（メタデータ） (2025-10-27T18:37:57Z)
• Fake it till You Make it: Reward Modeling as Discriminative Prediction [49.31309674007382]
  GAN-RMは、手動の嗜好アノテーションと明示的な品質次元工学を排除した効率的な報酬モデリングフレームワークである。 提案手法は,少数の対象サンプルを識別し,報酬モデルを訓練する。 実験では、GAN-RMが複数の主要なアプリケーションにまたがって有効であることを実証した。
  論文  参考訳（メタデータ） (2025-06-16T17:59:40Z)
• Detecting Prefix Bias in LLM-based Reward Models [4.596249232904721]
  選好データセットに基づいて訓練された報酬モデルにおいて,プレフィックスバイアスを検知し,評価するための新しい手法を提案する。 これらの指標を活用して、人種と性別の異なる嗜好モデルにおける大きなバイアスを明らかにします。 本研究は,公正かつ信頼性の高い報酬モデルを開発する上で,バイアス対応データセットの設計と評価を重要視するものである。
  論文  参考訳（メタデータ） (2025-05-13T21:50:03Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
  我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。 具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。 我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
  論文  参考訳（メタデータ） (2022-10-10T11:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。