論文の概要: CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks

• arxiv url: http://arxiv.org/abs/2603.18736v1
• Date: Thu, 19 Mar 2026 10:37:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.091622
• Title: CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks
• Title（参考訳）: CausalRM:観測ユーザフィードバックからのRLHFの因果論的リワードモデリング
• Authors: Hao Wang, Licheng Pan, Zhichao Chen, Chunyuan Zheng, Zhixuan Chu, Xiaoxi Li, Yuan Lu, Xinggao Liu, Haoxuan Li, Zhouchen Lin,
• Abstract要約: 我々は、スケーラブルで費用対効果の高い代替手段として、観察的報酬モデル(観察的ユーザフィードバックを伴う報酬モデル)を導入します。 CaulRMは、観察フィードバックから偏見のない報酬モデルを学ぶことを目指している。 実験では、CausalRMがノイズや偏りのある観測フィードバックから正確な報酬信号を効果的に学習することを検証する。
• 参考スコア（独自算出の注目度）: 65.44788139573144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of reinforcement learning from human feedback (RLHF) in aligning language models, current reward modeling heavily relies on experimental feedback data collected from human annotators under controlled and costly conditions. In this work, we introduce observational reward modeling -- learning reward models with observational user feedback (e.g., clicks, copies, and upvotes) -- as a scalable and cost-effective alternative. We identify two fundamental challenges in this setting: (1) observational feedback is noisy due to annotation errors, which deviates it from true user preference; (2) observational feedback is biased by user preference, where users preferentially provide feedback on responses they feel strongly about, which creats a distribution shift between training and inference data. To address these challenges, we propose CausalRM, a causal-theoretic reward modeling framework that aims to learn unbiased reward models from observational feedback. To tackle challenge (1), CausalRM introduces a noise-aware surrogate loss term that is provably equivalent to the primal loss under noise-free conditions by explicitly modeling the annotation error generation process. To tackle challenge (2), CausalRM uses propensity scores -- the probability of a user providing feedback for a given response -- to reweight training samples, yielding a loss function that eliminates user preference bias. Extensive experiments across diverse LLM backbones and benchmark datasets validate that CausalRM effectively learns accurate reward signals from noisy and biased observational feedback and delivers substantial performance improvements on downstream RLHF tasks -- including a 49.2% gain on WildGuardMix and a 32.7% improvement on HarmBench. Code is available on our project website.
• Abstract（参考訳）: 言語モデルの整合化における人間フィードバック(RLHF)からの強化学習の成功にもかかわらず、現在の報酬モデリングは、制御とコストのかかる条件下で人間のアノテータから収集された実験的なフィードバックデータに大きく依存している。 本研究では、スケーラブルで費用対効果の高い代替手段として、観察的報酬モデル(例えば、クリック、コピー、アップボイト)をユーザフィードバックで学習する観察的報酬モデルを紹介します。 本設定の基本的な課題は,(1) 真のユーザの嗜好から逸脱したアノテーションエラーによる観察フィードバックがうるさく,(2) 観察フィードバックがユーザの嗜好に偏っていること,(2) ユーザが強く感じている反応に対するフィードバックを優先的に提供し,トレーニングデータと推論データ間の分散シフトを生み出すこと,の2つである。 これらの課題に対処するために、観測フィードバックから偏見のない報酬モデルを学ぶことを目的とした因果理論の報酬モデルフレームワークであるCausalRMを提案する。 課題(1)に取り組むために、CausalRMは、アノテーションエラー生成過程を明示的にモデル化することにより、ノイズフリー条件下での原始的損失と確実に同等のノイズ対応代理損失項を導入する。 課題 (2) に取り組むため,CausalRM では,ユーザが所定の応答に対してフィードバックを提供する確率である確率スコアをトレーニングサンプルの再重み付けに使用して,ユーザの嗜好バイアスを排除した損失関数を生成する。 さまざまなLDMバックボーンとベンチマークデータセットにわたる大規模な実験により、CausalRMはノイズやバイアスのある観察フィードバックから正確な報酬信号を効果的に学習し、下流のRLHFタスク -- WildGuardMixの49.2%、HarmBenchの32.7%の改善 -- で大幅なパフォーマンス改善を実現している。 コードはプロジェクトのWebサイトで公開されている。

関連論文リスト

• Reward Modeling from Natural Language Human Feedback [77.75758630455357]
  RLVR(Reinforcement Learning with Verifiable reward)は、GAM(Generative Reward Models)のトレーニングにおいて、プライオリティデータに対する強化学習が主流となっている。 本稿では,このような二項分類タスクにより,音質批判を伴わない正しい結果の推測が可能であることを実証する。 本稿では、自然言語フィードバックを利用してプロセス報酬信号を得る自然言語ヒューマンフィードバック(RM-NLHF)からのリワードモデリングを提案する。
  論文  参考訳（メタデータ） (2026-01-12T09:23:43Z)
• Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking [78.69179041551014]
  本稿では,インフォメーション・ボトルネックの原理に基づく情報理論報酬モデリングフレームワークを提案する。 InfoRMは、報酬の一般化を緩和するために、嗜好に無関係な情報をフィルタリングする。 IBLは分散レベルの正規化であり、そのような偏差を罰し、最適化の展望を効果的に拡張する。
  論文  参考訳（メタデータ） (2025-10-15T15:51:59Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping [2.427844597259453]
  強化学習(Reinforcement Learning, RL)は、しばしば報酬のミスアライメントに苦しむ。 HITL(Human-in-the-loop)メソッドはこの問題を緩和するが、バイアスも導入する。 これらの課題に対処するための2つの重要な貢献を提案する。
  論文  参考訳（メタデータ） (2025-03-26T03:17:12Z)
• RLHS: Mitigating Misalignment in RLHF with Hindsight Simulation [3.998312409829935]
  人間のフィードバックからの強化学習は、重度で体系的なミスアライメントを引き起こす可能性があることを示す。 本稿では,Reinforcement Learning from Hindsight Simulation (RLHS)を紹介する。 RLHSは実験や人体評価においてRLHFのアライメントを大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-15T06:33:15Z)
• Understanding Impact of Human Feedback via Influence Functions [31.080092511782482]
  Reinforcement Learning from Human Feedback (RLHF)では、人間のフィードバックから適切な報酬モデルを学ぶことが重要である。 人間のフィードバックは、特に複雑な反応を評価するとき、しばしばうるさい、一貫性がない、偏見がある。 本稿では,人間からのフィードバックが報酬モデルの性能に与える影響を測定するための計算効率の近似法を提案する。
  論文  参考訳（メタデータ） (2025-01-10T08:50:38Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。