論文の概要: Counterfactual Reward Model Training for Bias Mitigation in Multimodal Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2508.19567v1
• Date: Wed, 27 Aug 2025 04:54:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.493895
• Title: Counterfactual Reward Model Training for Bias Mitigation in Multimodal Reinforcement Learning
• Title（参考訳）: マルチモーダル強化学習におけるバイアス軽減のための因果リワードモデルトレーニング
• Authors: Sheryl Mathew, N Harshit,
• Abstract要約: 本稿では,マルチモーダル表現学習による因果推論を導入し,非教師付きバイアス耐性報酬信号を提供する。 我々は, フレーミングバイアス, クラス不均衡, 分散ドリフトを示すマルチモーダルフェイク対真のニュースデータセット上で, フレームワークの評価を行った。 その結果、偽ニュースの検出において89.12%の精度を達成し、ベースライン報酬モデルを上回った。
• 参考スコア（独自算出の注目度）: 0.5204229323525671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In reinforcement learning with human feedback (RLHF), reward models can efficiently learn and amplify latent biases within multimodal datasets, which can lead to imperfect policy optimization through flawed reward signals and decreased fairness. Bias mitigation studies have often applied passive constraints, which can fail under causal confounding. Here, we present a counterfactual reward model that introduces causal inference with multimodal representation learning to provide an unsupervised, bias-resilient reward signal. The heart of our contribution is the Counterfactual Trust Score, an aggregated score consisting of four components: (1) counterfactual shifts that decompose political framing bias from topical bias; (2) reconstruction uncertainty during counterfactual perturbations; (3) demonstrable violations of fairness rules for each protected attribute; and (4) temporal reward shifts aligned with dynamic trust measures. We evaluated the framework on a multimodal fake versus true news dataset, which exhibits framing bias, class imbalance, and distributional drift. Following methodologies similar to unsupervised drift detection from representation-based distances [1] and temporal robustness benchmarking in language models [2], we also inject synthetic bias across sequential batches to test robustness. The resulting system achieved an accuracy of 89.12% in fake news detection, outperforming the baseline reward models. More importantly, it reduced spurious correlations and unfair reinforcement signals. This pipeline outlines a robust and interpretable approach to fairness-aware RLHF, offering tunable bias reduction thresholds and increasing reliability in dynamic real-time policy making.
• Abstract（参考訳）: 人間のフィードバックによる強化学習(RLHF)では、報酬モデルはマルチモーダルデータセット内の潜伏バイアスを効率よく学習し、増幅することができる。 バイアス緩和の研究は、しばしば受動的制約を適用し、因果共役の下で失敗することがある。 本稿では,マルチモーダル表現学習による因果推論を導入し,非教師付きバイアス耐性報酬信号を提供する。 コントリビューションの核心は,(1)政治的フレーミングバイアスを話題バイアスから分解する反事実的シフト,(2)反事実的摂動中の再構築の不確実性,(3)保護された各属性に対する公正性規則の実証的違反,(4)動的信頼度尺度に沿った時間的報酬シフトの4つの要素からなる総合スコアである。 我々は, フレーミングバイアス, クラス不均衡, 分散ドリフトを示すマルチモーダルフェイク対真のニュースデータセット上で, フレームワークの評価を行った。 表現に基づく距離からの教師なしドリフト検出([1])や言語モデルにおける時間的ロバストネスベンチマーク([2])に類似した手法に従うと、逐次バッチ間で合成バイアスを注入してロバストネスをテストする。 その結果、偽ニュースの検出において89.12%の精度を達成し、ベースライン報酬モデルを上回った。 さらに重要なことは、急激な相関と不公平な補強信号を減らすことだった。 このパイプラインは、公正を意識したRLHFに対する堅牢で解釈可能なアプローチの概要であり、調整可能なバイアス低減しきい値を提供し、動的リアルタイムポリシー作成の信頼性を高める。

関連論文リスト

• Beyond Reward Hacking: Causal Rewards for Large Language Model Alignment [30.605500809158986]
  本稿では,因果関係を緩和するために因果関係を統合した因果報酬モデリング手法を提案する。 提案手法は様々な種類のスプリアス相関を効果的に緩和し,LLMと人間の嗜好との整合性を高めた。
  論文  参考訳（メタデータ） (2025-01-16T16:00:37Z)
• Fair CoVariance Neural Networks [34.68621550644667]
  本稿では,Fair CoVariance Neural Networks (FVNN) を提案する。 我々は,FVNNが類似のPCAアプローチよりも本質的に公平であることを証明する。
  論文  参考訳（メタデータ） (2024-09-13T06:24:18Z)
• Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques [65.55451717632317]
  PbMARL(Preference-based Multi-Agent Reinforcement Learning)について検討する。 一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ平衡を同定する。 以上の結果から,PbMARLの多面的アプローチが示唆された。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• RobustFair: Adversarial Evaluation through Fairness Confusion Directed Gradient Search [8.278129731168127]
  ディープニューラルネットワーク(DNN)は、様々な敵の摂動に対する脆弱性のため、しばしば課題に直面している。 本稿では, 偽りや偏りのある摂動を受ける場合のDNNの正確な公平性を評価するための新しいアプローチであるRobustFairを紹介する。
  論文  参考訳（メタデータ） (2023-05-18T12:07:29Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Bias-inducing geometries: an exactly solvable data model with fairness implications [12.532003449620607]
  我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。 この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。 フェアネス評価によく用いられる観測対象の正確な予測値を得る。
  論文  参考訳（メタデータ） (2022-05-31T16:27:57Z)
• Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
  敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。 本研究では,長尾分布下における敵対的脆弱性と防御について検討する。 我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:53:08Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。