論文の概要: VA-DPO: Valence-Arousal Direct Preference Optimization for Controllable Emotion Generation in Language Models

• arxiv url: http://arxiv.org/abs/2608.20374v2
• Date: Mon, 07 Sep 2026 12:40:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.288547
• Title: VA-DPO: Valence-Arousal Direct Preference Optimization for Controllable Emotion Generation in Language Models
• Title（参考訳）: VA-DPO: 言語モデルにおける制御可能な感情生成のための価値覚醒直接選好最適化
• Abstract要約: 我々は、Valence-Arousal平面の連続点 (v*, a*) として所望の影響を指定し、それを打つようにモデルを訓練する。 VA-DPOは直接選好最適化の小さな修正である。 Llama-3.1-8B-Instructでは、このカットにより、システムプロンプトよりもVA距離が33%、数発のプロンプトより25%削減される。
• 参考スコア（独自算出の注目度）: 4.453956804336159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How precisely can we tell a language model how to feel? Most work on emotional generation answers with a discrete label - happy, angry, sad - which cannot express a target like "mildly downcast but calm." We instead specify the desired affect as a continuous point (v*, a*) in the Valence-Arousal plane and train the model to hit it. Our method, VA-DPO, is a small modification to Direct Preference Optimization: a frozen VA regressor scores each sampled generation by its Euclidean distance to the target, we keep only candidate pairs whose distance gap clears a margin tau, and we optimize a LoRA adapter with the ordinary DPO loss against a frozen reference. The DPO objective itself is unchanged; what is new is how the preference data is built. On Llama-3.1-8B-Instruct this cuts mean VA distance to the target by 33% over system-prompting and 25% over few-shot prompting, lifting valence/arousal correlation to r_v=0.93 and r_a=0.75. The gains carry over to Qwen3-8B and Llama-3.2-3B, and they do not come at the usual price: MMLU is unchanged (Delta=+0.0) and HellaSwag and TruthfulQA are preserved. We release the code, configs, and the preference-construction pipeline.
• Abstract（参考訳）: 言語モデルにどのように感じるかを正確に教えるにはどうすればよいのか? 感情生成に関するほとんどの研究は、"軽度にダウンキャストするが、穏やかである"というようなターゲットを表現できない、幸せで怒り、悲しい、個別のラベルで回答する。 代わりに、Valence-Arousal平面の連続点 (v*, a*) として所望の感情を指定し、それを打つようにモデルを訓練する。 凍結型VA回帰器は、ターゲットへのユークリッド距離で各サンプル生成をスコアし、距離ギャップがマージンタウをクリアする候補ペアのみを保持し、凍結参照に対して通常のDPO損失でLoRAアダプタを最適化する。 DPOの目的そのものは変わりません。新しいのは、好みのデータの構築方法です。 Llama-3.1-8B-Instructでは、このカットにより、システムプロンピングよりもVA距離が33%、数発のプロンプトよりも25%、r_v=0.93とr_a=0.75との原子価/覚醒相関が持ち上がった。 利得はQwen3-8BとLlama-3.2-3Bに受け継がれ、MMLUは変化せず(Delta=+0.0)、HellaSwagとTruthfulQAは保存される。 コード、設定、優先度設定パイプラインをリリースします。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Style-Debiased DPO: Updating LLM Knowledge with Factuality-Aware Synthetic Preference Data [11.157564521901634]
  保管側よりも勧誘側について検討する。 我々は好みの最適化を使い、好みの(ちょうせん)と好ましくない(拒絶)応答のペアから学習する。 本稿では,各ペアの拒否応答が実際に正しいかどうかを判定し,それらのペアの嗜好を逆転させ,スタイルの違いによる学習信号が全体としてキャンセルされるように重み付けするDPO(SD-DPO)を提案する。
  論文  参考訳（メタデータ） (2026-09-15T02:26:19Z)
• Disentangling Optimization Scale from Preference Scale in DPO [0.0]
  提案手法は,効率の良い逆選好ノイズ尺度を制御し,最適化のダイナミクスを同時に再スケールする。 本稿では,DPOに等価なargminを$0$で提供するとともに,逆選好ノイズ尺度および学習速度効果を明示的かつ独立的に調整可能とした。
  論文  参考訳（メタデータ） (2026-08-27T12:21:14Z)
• Boosting Direct Preference Optimization with Penalization [0.0]
  DPOP(Direct Preference Optimization with Penalization)は、DPOの単純な拡張であり、基準グレード応答に対するゲートペナルティによるベース優先損失を増大させる。 AlpacaEval 2.0では、DPOPはLlama-3-8b-itとGemma-2-9b-itの両方でDPO、SimPO、AlphaDPOよりも長さ制御された勝利率を改善する。
  論文  参考訳（メタデータ） (2026-06-10T17:22:51Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。