論文の概要: TD-DPO: Difference-Aware Preference Optimization for Mitigating Sycophancy in Clinical Autism Intervention Dialogue

• arxiv url: http://arxiv.org/abs/2607.18304v1
• Date: Fri, 17 Jul 2026 05:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.173616
• Title: TD-DPO: Difference-Aware Preference Optimization for Mitigating Sycophancy in Clinical Autism Intervention Dialogue
• Title（参考訳）: TD-DPO: 臨床自閉症インターベンション・ダイアログにおけるSycophancyの相違を考慮した選好最適化
• Abstract要約: 監視された微調整は、いくらかの症状を減少させるが、肯定的な例のみに依存することは、障害パターンを特定し、修正するには不十分であることが多い。 textbfMinimal textbfEdit textbfData textbfAugmentation (MEDA) 戦略を提案する。
• 参考スコア（独自算出の注目度）: 26.600542246708724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The sycophancy of large language models can increase the safety risk in intervention dialogue for autistic children. Supervised fine-tuning can somewhat reduce sycophancy, but relying solely on positive examples is often insufficient to identify and correct failure patterns. We observe that sycophancy behaviors can often be localized to a limited span within the model response. In this regime, sequence-level preference optimization can over-update preference-irrelevant tokens and degrade intervention ability. To address this, we propose the \textbf{M}inimal \textbf{E}dit \textbf{D}ata \textbf{A}ugmentation (MEDA) strategy to construct controlled, stable, minimal edit preference pairs and \textbf{T}oken-level \textbf{D}ifference \textbf{D}irect \textbf{P}reference \textbf{O}ptimization (TD-DPO), which upweights difference tokens between chosen and rejected responses while downweighting shared tokens to suppress background drift. Extensive experiments across multiple backbones and evaluators show that TD-DPO achieves a better trade-off between sycophancy mitigation and intervention ability retention in our offline settings, highlighting its potential as a practical alignment approach for autism intervention.
• Abstract（参考訳）: 大規模言語モデルの梅毒は、自閉症児に対する介入対話の安全性を高めることができる。 監視された微調整は、いくらかの症状を減少させるが、肯定的な例のみに依存することは、障害パターンを特定し、修正するには不十分であることが多い。 我々は、梅毒の挙動がモデル応答の限られた範囲に局所化されることがしばしばあることを観察した。 この状況下では、シーケンスレベルの優先最適化は、優先不関連トークンを過度に更新し、介入能力を低下させることができる。 これを解決するために、制御された、安定で最小限の編集選好ペアと \textbf{T}oken-level \textbf{D}ifference \textbf{D}irect \textbf{P}reference \textbf{O}ptimization (TD-DPO) を構築するための \textbf{M}inimal \textbf{E}dit \textbf{D}ata \textbf{A}ugmentation (MEDA) 戦略を提案する。 複数のバックボーンおよび評価装置にわたる広範囲な実験により、TD-DPOは、我々のオフライン環境での梅毒軽減と介入能力の維持の間のトレードオフをより良く達成し、自閉症介入のための実践的なアライメントアプローチとしての可能性を強調している。

関連論文リスト

• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models [53.15468578562038]
  マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。 まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。 次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
  論文  参考訳（メタデータ） (2026-05-06T13:08:12Z)
• ACPO: Counteracting Likelihood Displacement in Vision-Language Alignment with Asymmetric Constraints [26.309376587678354]
  非対称制約参照最適化(ACPO)を提案する。 ACPOは動的でターゲット指向のスケーリングを好みの最適化に適用する。 本稿では,ACPOが標準DPOの選択逆劣化を効果的に逆転させることを示す。
  論文  参考訳（メタデータ） (2026-03-23T16:26:11Z)
• DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding [59.16244104797919]
  本稿では,リスク制約付き復号法(DARC)*による分散アライメント(Disagreement-Aware Alignment)を提案する。 DARCは応答選択を、分布的に堅牢で、リスクに敏感な意思決定として捉えている。 アライメントベンチマークの実験では、DARCは競合平均品質を維持しながら、不一致と尾のリスクを低減する。
  論文  参考訳（メタデータ） (2026-03-09T09:21:29Z)
• TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation [0.0]
  高価値セマンティックトークンを優先するトークン重み付き参照調整アドバンテージが提示される。 医療コミュニケーションアノテーションを用いたTAB-POの評価を行った。
  論文  参考訳（メタデータ） (2026-02-03T23:48:13Z)
• Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
  マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。 textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
  論文  参考訳（メタデータ） (2026-02-03T11:00:55Z)
• Steering Vision-Language Pre-trained Models for Incremental Face Presentation Attack Detection [62.89126207012712]
  顔提示攻撃検出(PAD)は、スプーフィング戦術やドメインと戦うために漸進的な学習を要求する。 過去のデータ保持を禁止し、リハーサルフリーラーニング(RF-IL)を必要とするプライバシー規制
  論文  参考訳（メタデータ） (2025-12-22T04:30:11Z)
• Potent but Stealthy: Rethink Profile Pollution against Sequential Recommendation via Bi-level Constrained Reinforcement Paradigm [44.622203626828345]
  対話シーケンスを通じて動的ユーザインテントを利用するシークエンシャルリコメンダは、敵攻撃に対して脆弱である。 本報告では, ユーザインタラクションを微妙に汚染し, ターゲットの誤予測を誘発するプロファイル汚染攻撃について述べる。 本稿では,2段階の最適化フレームワークを多方向強化学習と相乗化して,対向効果とステルスネスのバランスをとる制約付き強化駆動攻撃 CREAT を提案する。
  論文  参考訳（メタデータ） (2025-11-12T15:00:52Z)
• Exploring Semantic-constrained Adversarial Example with Instruction Uncertainty Reduction [51.50282796099369]
  本稿では,多次元命令の不確実性低減フレームワークを開発し,意味論的に制約された逆の例を生成する。 言語誘導サンプリングプロセスの予測により、設計したResAdv-DDIMサンプルにより最適化プロセスが安定化される。 セマンティック制約付き3次元逆数例の参照フリー生成を初めて実現した。
  論文  参考訳（メタデータ） (2025-10-27T04:02:52Z)
• Explicit Preference Optimization: No Need for an Implicit Reward Model [18.225409932618657]
  直接選好最適化(DPO)とそのオフシュートは、個別の報酬トレーニングステップの必要性を回避する。 DPOをベースとした目的は,しかしながら,準最適正規化や反直観的アーティファクトの対象であることを示す。
  論文  参考訳（メタデータ） (2025-06-09T07:11:01Z)
• DADM: Dual Alignment of Domain and Modality for Face Anti-spoofing [58.62312400472865]
  マルチモーダル・フェイス・アンチ・スプーフィング (FAS) が顕著な研究対象となっている。 相互情報に基づくモダリティ間のアライメントモジュールを提案する。 サブドメイン超平面とモダリティ角マージンの両方を整列する双対アライメント最適化法を用いる。
  論文  参考訳（メタデータ） (2025-03-01T10:12:00Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Beyond Reverse KL: Generalizing Direct Preference Optimization with Diverse Divergence Constraints [26.274786600234876]
  大規模言語モデル(LLM)の能力の増大は、人工知能の機会を増大させるが、安全性の懸念を増幅する。 RLHFは、AIアライメントへの有望な経路として登場したが、複雑さと独立した報酬モデルへの依存により、課題を提起している。 DPOは代替として提案されており、逆KL正規化制約の下ではRLHFと等価である。 Jensen-Shannonの発散、forward KLの発散、$alpha$-divergencesなど、ある$f$-divergencesの下では、報酬と最適ポリシーの複雑な関係も単純化できることを示す。
  論文  参考訳（メタデータ） (2023-09-28T08:29:44Z)
• AD-DROP: Attribution-Driven Dropout for Robust Language Model Fine-Tuning [24.028662731799127]
  帰属スコアの低い注意点の低下はトレーニングを加速させ、過度な適合のリスクを増大させることが判明した。 微調整とAD-DROPを交互に行うクロスチューニング戦略を開発し,高属性位置の過度な低下を回避する。
  論文  参考訳（メタデータ） (2022-10-12T02:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。