論文の概要: RewardExplainer: Learning Reward Model Explanations from Counterfactual Preference Feedback

• arxiv url: http://arxiv.org/abs/2609.33989v1
• Date: Sun, 27 Sep 2026 22:43:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 08:03:10.587057
• Title: RewardExplainer: Learning Reward Model Explanations from Counterfactual Preference Feedback
• Title（参考訳）: RewardExplainer: 逆予測フィードバックから逆モデル記述を学習する
• Abstract要約: Reward Model(RM)は、大規模言語モデルポストトレーニングの重要なコンポーネントであり、後続の強化学習のための報奨信号を提供する。 提案するRewardExplainerは,相手の報酬モデルからフィードバックを得るためのフレームワークである。 オープンエンド、アトミック、インターベンブルな自然言語スコアリング機構を生成し、より具体的で読みやすく、動作可能な説明を作成する。
• 参考スコア（独自算出の注目度）: 40.29410627249123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward models (RMs) are a key component of large language model post-training, providing reward signals for subsequent reinforcement learning. However, conventional discriminative RMs typically output only scalar scores, making it difficult to identify the response behaviors associated with their scoring decisions. Existing interpretation methods often rely on predefined high-level attributes and require repeated counterfactual interventions for each response pair to validate candidate explanations, lacking a closed-loop mechanism that uses RMs' feedback to train a reusable explainer. To address this, we propose RewardExplainer, a framework that obtains feedback from the target reward model through counterfactual rewriting and uses this feedback to further optimize the explainer. RewardExplainer generates open-ended, atomic, and intervenable natural-language scoring mechanisms, making explanations more concrete, readable, and actionable. It further converts counterfactual feedback into preference supervision, enabling the explainer to more faithfully capture the target RM's scoring preferences and sensitive behaviors than single-pass generation. Extensive experiments across multiple target RMs and explainer backbones show consistent improvements. Beyond interpretation, we use the generated mechanisms to identify potential bias patterns and construct targeted debiasing data for fine-tuning the reward model, improving robustness on reward-hacking benchmarks.
• Abstract（参考訳）: Reward Model(RM)は、大規模言語モデルポストトレーニングの重要なコンポーネントであり、後続の強化学習のための報奨信号を提供する。 しかし、従来の差別的RMはスカラースコアのみを出力し、スコア決定に関連する応答の振る舞いを特定することは困難である。 既存の解釈法は、しばしば事前定義された高レベルな属性に依存し、各応答ペアに対して、再利用可能な説明器をトレーニングするためにRMのフィードバックを使用するクローズドループ機構が欠如しているため、候補説明を検証するために繰り返し、反実的な介入を必要とする。 これを解決するために,提案するフレームワークであるRewardExplainerを提案する。 RewardExplainerは、オープンエンド、アトミック、インターベンブルな自然言語スコアリングメカニズムを生成し、説明をより具体的で、読みやすく、動作可能なものにする。 さらに、反事実的なフィードバックを優先的な監視に変換し、説明者は単一パス生成よりもRMのスコアリングの好みや敏感な振る舞いをより忠実に捉えることができる。 複数のRMと説明器のバックボーンにわたる広範囲な実験は、一貫した改善を示している。 解釈の他に、生成したメカニズムを用いて潜在的なバイアスパターンを特定し、報酬モデルを微調整し、報酬ハッキングベンチマークの堅牢性を改善するために目標とするバイアスデータを構築します。

関連論文リスト

• SAEExplainer: Interpreting SAE Features with Activation-Guided Preference Optimization [27.75787562103551]
  SAEExplainerは,活性化スコアを客観的報酬信号として活用し,自己補正と反復ブートストラップのためのモデルトレーニングを行うためのトレーニングフレームワークである。 2ラウンドの最適化プロセスを通じて基礎的な説明を反復的に検証し、修正することにより、SAEExplainerはその説明能力を継続的に改善する。
  論文  参考訳（メタデータ） (2026-06-07T07:54:25Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models [53.19726629537694]
  ビデオ生成モデルと人間の好みのトレーニング後のアライメントは、重要な目標である。 現在のデータ収集パラダイムは、プロンプト内のペアワイズアノテーションに依存しており、ノイズのラベル付けに悩まされている。 ビデオRMトレーニングのための体系的フレームワークであるSoliRewardを提案する。
  論文  参考訳（メタデータ） (2025-12-17T14:28:23Z)
• Interpretable Reward Model via Sparse Autoencoder [16.903840987027912]
  本稿では,Sparse Autoencoder-enhanced Reward Model(SARM)を紹介する。 SARMはLLMベースのRMの隠れた活性化を解釈可能でスパースで単意味的な特徴空間にマッピングする。 実験的な評価では、SARMは報酬割り当ての直接的特徴レベルの帰属を促進し、好みのシフトを動的に調整し、従来の報酬モデルよりも優れたアライメント性能を実現する。
  論文  参考訳（メタデータ） (2025-08-12T08:41:00Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• Truthful or Fabricated? Using Causal Attribution to Mitigate Reward Hacking in Explanations [30.68740512996253]
  思考の連鎖の説明は、大きな言語モデルの決定過程を調べるために広く使われている。 これらの説明の忠実さを必然的に低減することができることを示す。
  論文  参考訳（メタデータ） (2025-04-07T17:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。