論文の概要: You Can't Prefer Emotions You Don't Sample: Intensity Undershoot in DPO-Tuned LLMs
- arxiv url: http://arxiv.org/abs/2609.07808v1
- Date: Mon, 07 Sep 2026 17:47:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.494657
- Title: You Can't Prefer Emotions You Don't Sample: Intensity Undershoot in DPO-Tuned LLMs
- Title（参考訳）: サンプルにしない感情は予測できない。DPOで調整されたLLMのインテンシティアンダーシュート
- Abstract要約: 本研究では,連続的Valence-Arousal (VA) ターゲットに命令調整 LLM を付加する。
このモデルでは, 情緒的強度の要求を体系的に下方修正する。
- 参考スコア（独自算出の注目度）: 3.77017032993156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ask a language model to respond "very excitedly," and its output is typically only mildly more energetic. We quantify this effect. We condition an instruction-tuned LLM on a continuous Valence-Arousal (VA) target, where valence measures how pleasant a state is and arousal how activated it is, measure the achieved affect with a frozen regressor, and sweep the requested target from -1 to +1. The response moves far less than asked: the gain, the slope of achieved against requested affect, is only 0.26 for valence and 0.13 for arousal on Llama-3.1-8B, where a faithful controller would score 1. The model systematically undershoots requested emotional intensity, which puts a number on the qualitative observation of Fazzi et al. (2025). Our experiments trace this to the preference-learning pipeline. Training targets from natural corpora such as EmoBank are neutral-heavy, and the sampled candidates themselves rarely reach extreme affect, so Direct Preference Optimization (DPO) is left with no extreme exemplar to prefer. If instead we cover the target space uniformly and sample a hotter, larger candidate pool, valence gain rises from 0.26 to 0.40 +/- 0.02 (3 seeds) and extrapolation error drops, at only a modest in-distribution cost (EmoBank-test VA distance 0.092 to 0.107). The same recipe reproduces on Qwen3-8B (gain_v 0.44, with in-distribution accuracy preserved). Arousal is harder and less reliable: its gain barely moves on average and swings across seeds (0.14 +/- 0.07, against valence's tight +/- 0.02), because raising arousal needs candidates the base model is reluctant to generate. The evidence indicates that faithful intensity is bottlenecked by the extremity of the candidate pool rather than by the conditioning format.
- Abstract（参考訳）: 言語モデルに"非常に興奮して"応答するように頼み、その出力は通常、わずかにエネルギッシュにしかならない。
私たちはこの効果を定量化します。
本研究では,連続的Valence-Arousal (VA) ターゲットに命令調整LDMを条件とし,その状態の快適さと活性化度を測定し,凍結した回帰器で達成した影響を計測し,要求された目標を-1から+1に掃除する。
Llama-3.1-8Bでは、正当性(valence)が0.26、覚醒性(arousal)が0.13、忠実なコントローラーが1.1となる。
このモデルは、要求された感情の強さを体系的に下降させ、Fazzi et al (2025年)の質的な観察に番号を付ける。
私たちの実験では、これを好みの学習パイプラインにトレースしています。
EmoBankのような自然コーポラからのトレーニングターゲットは中立的であり、サンプル候補自体が極端に影響を受けないため、直接選好最適化(DPO)は極端に好ましくないまま残されている。
その代わり、ターゲット空間を均一にカバーし、より熱く、より大きい候補プールをサンプリングすると、価値ゲインは0.26から0.40から0.40+/-0.02に上昇し、外挿誤差が減少する(EmoBank-test VA distance 0.092から0.107)。
同じレシピはQwen3-8B(gain_v 0.44, in-distribution accuracy)で再現される。
昇降率は平均ではほとんど動かず、種子を横切る(0.14 +/- 0.07、バレンスの固い+/- 0.02)。
証拠は、忠実な強度は条件付け形式ではなく、候補プールの極端さによってボトルネックされることを示している。
関連論文リスト
- Excess Separability: Nuisance-Controlled Residual-Stream Probing for Benchmark Contamination Detection [0.0]
ベンチマーク汚染はn-gram重なり、可能性に基づくメンバーシップ推論、カナリア文字列と診断される。
これを行う自然な方法はうまくいかないことを示し、測定を生き残るものを特定し、それを動作させる補正が、テストされるnullよりも多くのばらつきをもたらすことを見つけます。
論文 参考訳（メタデータ） (2026-08-12T23:27:20Z) - Minimizing Targeted Activations: Input-Only Suppression of Evaluation-Awareness Latents in Large Language Models [0.4783156204372467]
アクティベーションステアリングは、推論時に内部アクティベーションを編集することでモデル動作を制御する。
入力側双対について検討し、流動的なプロンプトを最適化し、選択した内部潜伏剤をゼロに駆動する。
論文 参考訳（メタデータ） (2026-07-28T16:01:48Z) - Trend strength predicts when generative foundation models win: a power-controlled benchmark, a mechanism, and an actionable selection rule [0.0]
ゼロショットクロノスモデルは、4つの強い古典的ベースラインを著しく上回る。
既知のトレンド生成プロセスによる制御された合成実験は、その理由を示している。
利点は収縮効果であるため、傾向強度だけで予測可能である。
論文 参考訳（メタデータ） (2026-07-01T10:46:02Z) - Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation [9.508867853240469]
強化学習 (Reinforcement Learning, RL) は, 教師付き模倣を超越した生成的レコメンデーションを促進するための, 有望な道である。
実際には、広く採用されている報酬モデルである生産ランク付けは、露光バイアスのあるログに基づいて訓練され、サンプル依存の不正確さにつながる。
AdaGRPOは、報酬誘導最適化を均一な圧力よりも選択的な入力として扱う新しいフレームワークである。
論文 参考訳（メタデータ） (2026-06-07T06:51:18Z) - EVA-0: Test-Time Model Evolution with Only Two Forward Passes per Sample [55.284129005947484]
厳格な2方向予算の下でテスト時間モデルの進化について検討する。
ゼロオーダーテストタイム最適化における3つの重要な障害を明らかにする。
最小零階適応フレームワーク EVA-0 を提案する。
論文 参考訳（メタデータ） (2026-05-15T09:26:02Z) - ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning [60.411097231348975]
RLVRによる強化学習は大規模言語モデル(LLM)の推論を強化する
本稿では,正と負の応答間で類似した意味分布を分離する,正のサンプル投影Residual Reinforcement Learning (ResRL)を提案する。
論文 参考訳（メタデータ） (2026-05-01T03:57:44Z) - EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - When Does Margin Clamping Affect Training Variance? Dataset-Dependent Effects in Contrastive Forward-Forward Learning [0.0]
コントラストフォワード(Contrastive Forward-Forward, CFF)学習は、教師付きコントラスト目標に対して、ビジョントランスフォーマーを層別に層状化する。
比較損失における正対辺のマージンは、類似度クランプの飽和により適用される。
対数確率の後にマージンを減じる別の定式化が、平均-上-正の還元の下で勾配ニュートラルであることを証明する。
論文 参考訳（メタデータ） (2026-03-01T07:00:38Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization [60.176008034221404]
直接選好最適化(DPO)とその変種は、言語モデルと人間の選好の整合にますます利用されている。
以前の研究では、トレーニング中に好まれる反応の可能性が減少する傾向が見られた。
確率変位は破滅的になりうることを示し、確率質量を好ましくない反応から反対の意味の反応へとシフトさせる。
論文 参考訳（メタデータ） (2024-10-11T14:22:44Z) - Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文 参考訳（メタデータ） (2024-05-01T17:59:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。