論文の概要: Why Summaries Turn Neutral: Policy Attribution for Sentiment Drift in Reinforcement Learning from Human Feedback

• arxiv url: http://arxiv.org/abs/2608.15530v1
• Date: Sun, 16 Aug 2026 04:56:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.328915
• Title: Why Summaries Turn Neutral: Policy Attribution for Sentiment Drift in Reinforcement Learning from Human Feedback
• Title（参考訳）: 母親が中和する理由--人からのフィードバックによる強化学習におけるセンセーションドリフトの政策属性
• Abstract要約: 人間のフィードバックによる強化学習(RLHF)は、LLMを人間の好みと整合させ、要約と安全性を向上させる。 RLHFサマリーはより高い報酬を得るが、Reddit TL;DRとCNN/DailyMailでは30-40%の感情差を示す。 要約品質を損なうことなく18～22%のドリフトを削減できる感情認識正則化手法を提案し,検証した。
• 参考スコア（独自算出の注目度）: 46.49327788332846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with human feedback (RLHF) aligns LLMs with human preferences, improving summarization fluency and safety, but causes sentiment drift: overly neutral summaries stripped of emotional nuance. We diagnose why RL acts as a sentiment neutralizer and present Policy Attribution, a framework using gradient and logit decomposition to trace drift to reward model (RM) signals and KL (Kullback-Leibler) penalty. Sentiment drift reflects a strategic bias toward "low-risk" tokens maximizing expected rewards under preference uncertainty (Stiennon et al., 2020; Gao, Schulman, and Hilton, 2023). On Reddit TL;DR and CNN/DailyMail, RLHF summaries get higher rewards but show 30-40% lower sentiment variance. Cross-lingual analysis across eight languages shows language-independent drift, with morphologically richer languages more suppressed (Krasitskii et al., 2026). We propose and validate a sentiment-aware regularization technique reducing drift by 18-22% without harming summary quality. The code and toolkit will be public.
• Abstract（参考訳）: 人間のフィードバックによる強化学習(RLHF)は、LLMを人間の好みと整合させ、要約の流感と安全性を向上させるが、感情的なニュアンスから取り除かれた過度に中立的な要約を引き起こす。 我々はRLがなぜ感情中和剤として機能するのかを診断し、勾配分解とロジット分解を用いて報酬モデル(RM)信号とKL(Kullback-Leibler)ペナルティをトレースするフレームワークであるPolicy Attributionを提示する。 センティメントドリフトは「リスクの低い」トークンに対する戦略的バイアスを反映しており、優先的不確実性の下で期待される報酬を最大化する(Stiennon et al , 2020; Gao, Schulman, Hilton, 2023)。 Reddit TL;DR と CNN/DailyMail では、RLHF の要約はより高い報酬を得るが、30-40% の感情差を示す。 8つの言語を横断する言語解析は言語に依存しないドリフトを示し、形態的に豊かな言語はより抑圧されている(Krasitskii et al , 2026)。 要約品質を損なうことなく18～22%のドリフトを削減できる感情認識正則化手法を提案し,検証した。 コードとツールキットは公開されます。

関連論文リスト

• AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes [59.134503227559634]
  マルチモーダル大言語モデル(MLLM)は,VQAとシーン理解において高い性能を発揮する。 モデルは、マイクロ表現やボディランゲージのような人中心の手がかりを無視しながら、正しい答えを予測できる。 本稿では、感情的推論を検証可能なフレームワークであるAffect Omniを提案する。
  論文  参考訳（メタデータ） (2026-08-24T11:25:04Z)
• Multilingual Sentiment Aware Text Summarization A Reinforcement Learning Approach for Consistency Maintenance [46.49327788332846]
  我々は、RLHFに基づく要約出力における中性感情への体系的なシフトである感情の漂流を研究する。 以上の結果から,KL正則化強度の増大に伴い,感情の漂流はより強くなる一貫した現象であることが示唆された。 感傷的トークンの制約を選択的に低減するKL正規化項の感傷的修正を提案する。
  論文  参考訳（メタデータ） (2026-06-08T02:36:05Z)
• ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning [60.411097231348975]
  RLVRによる強化学習は大規模言語モデル(LLM)の推論を強化する 本稿では,正と負の応答間で類似した意味分布を分離する,正のサンプル投影Residual Reinforcement Learning (ResRL)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T03:57:44Z)
• The Paradox of Robustness: Decoupling Rule-Based Logic from Affective Noise in High-Stakes Decision-Making [1.0671844383558033]
  大規模言語モデル(LLM)は、小さな急激な摂動に敏感であり、ユーザのバイアスとサイコファン的アライメントの傾向が広く文書化されている。 LLMは人体よりも110～300倍の抵抗性を示すロバスト性ギャップを定量化する。 LLMはクエリのフォーマットの“脆弱”な場合もありますが,決定にバイアスがかかる理由に対して,非常に“安定”しているのです。
  論文  参考訳（メタデータ） (2026-01-29T09:17:05Z)
• Surgical Refusal Ablation: Disentangling Safety from Intelligence via Concept-Guided Spectral Cleaning [0.0]
  安全に配慮した言語モデルは、有害な要求を体系的に拒否する。 この分解は、原ベクトルが多意味であるからである。 我々は,これらの操舵方向を蒸留するために,外科的拒絶アブレーションを導入する。
  論文  参考訳（メタデータ） (2026-01-13T12:21:44Z)
• Compositional Bias Control in Large Language Models: Preference Learning Fails, Supervision Succeeds [0.0]
  大規模言語モデル (LLMs) は、職業中立の文脈においても男女ステレオタイプ言語を生成する。 バイアス緩和のための6つの制御手法を比較する: プロンプトオンリー、ジェネレータ、DFAベースのCtrl-Gデコーディング、スーパーバイザードファインチューニング(SFT)、直接選好最適化(DPO)、反復ヌルスペース投影(INLP)。 SFT は 99.87 +- 0.15% のコンプライアンスと高い語彙の多様性を達成するが、DPO は同様の訓練安定性にもかかわらず 4.53 +- 0.82% で失敗する。
  論文  参考訳（メタデータ） (2025-10-24T23:52:37Z)
• SRD: Reinforcement-Learned Semantic Perturbation for Backdoor Defense in VLMs [57.880467106470775]
  攻撃者は、トレーニングデータに知覚不能な摂動を注入することができ、モデルが悪意のある攻撃的制御されたキャプションを生成する。 本稿では,引き金の事前知識を伴わずにバックドア動作を緩和する強化学習フレームワークであるセマンティック・リワード・ディフェンス(SRD)を提案する。 SRDはDeep Q-Networkを使用して、機密画像領域に個別の摂動を適用するためのポリシーを学習し、悪意ある経路の活性化を妨害することを目的としている。
  論文  参考訳（メタデータ） (2025-06-05T08:22:24Z)
• Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning [55.65738319966385]
  我々は、新しいオンラインアルゴリズム、反復的ナッシュポリシー最適化(INPO)を提案する。 従来の方法とは異なり、INPOは個々の応答に対する期待される勝利率を推定する必要性を回避している。 LLaMA-3-8BベースのSFTモデルで、INPOはAlpacaEval 2.0で42.6%、Arena-Hardで37.8%の勝利率を達成した。
  論文  参考訳（メタデータ） (2024-06-30T08:00:34Z)
• RaSa: Relation and Sensitivity Aware Representation Learning for Text-based Person Search [51.09723403468361]
  関係性と感性を考慮した表現学習法(RaSa)を提案する。 RaSaにはリレーショナル・アウェア・ラーニング(RA)と感性・アウェア・ラーニング(SA)という2つの新しいタスクが含まれている。 実験によると、RaSaは既存の最先端メソッドを6.94%、4.45%、および15.35%で上回っている。
  論文  参考訳（メタデータ） (2023-05-23T03:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。