論文の概要: PRIDE: Privileged Information-enhanced Distillation for Empathetic Dialogue Generation
- arxiv url: http://arxiv.org/abs/2606.23124v1
- Date: Mon, 22 Jun 2026 10:09:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 23:55:29.397912
- Title: PRIDE: Privileged Information-enhanced Distillation for Empathetic Dialogue Generation
- Title（参考訳）: PRIDE: 共感的対話生成のための情報強調蒸留法
- Authors: Jiaqiang Wu, Zhouan Zhu, Shangfei Wang,
- Abstract要約: 感性対話生成(PRIDE)のための知識テキスト情報強調型知識テキストbfdistillation法を提案する。
本手法は,専門家の心理学的アノテーションや,トレーニング時にのみ利用できるが,推論時に利用できないイベント要約などの特権情報を活用する。
PRIDEには3つの重要な要素がある:(1) 教師が共感過程を明示的に分解し、感情を理解し、状況を分析するよう指導する共感推論プロンプト、(2) 学生に特権情報を効果的に統合するよう指示するマルチソースアテンションメカニズム
- 参考スコア（独自算出の注目度）: 8.432742005693283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models have demonstrated significant capabilities in generating diverse and context-aware responses for empathetic dialogue. However, their computational demands severely limit their deployment in resource-constrained environments. While knowledge distillation offers a promising compression solution, it often fails to transfer the nuanced understanding essential for empathy, as it overlooks the implicit contextual cues that guide human connection. To bridge this gap, we propose a \textbf{pr}ivileged \textbf{i}nformation-enhanced knowledge \textbf{d}istillation method for \textbf{e}mpathetic dialogue generation (PRIDE). Our method leverages privileged information, such as expert psychological annotations or future event summaries, which is available exclusively during training but unavailable at inference time. This allows us to transfer the teacher model's empathetic reasoning to smaller models without relying on extra inputs during deployment. Specifically, PRIDE has three key components: (1) An empathy-reasoning prompt that guides the teacher to explicitly decompose the empathetic process into understanding feelings and analyzing situations step-by-step; (2) A multi-source attention mechanism that directs the student to effectively integrate privileged information; (3) A dual-alignment loss that combines reversed Kullback-Leibler divergence and maximum mean discrepancy to ensure robust knowledge transfer at both logit and feature levels. Experiments on multi-modal and text-only datasets demonstrate that our method achieves competitive performance, and in some cases matches or even surpasses larger teacher models in terms of accuracy and semantic relevance.
- Abstract（参考訳）: 大規模言語モデルは、共感的対話のための多様でコンテキスト対応の応答を生成する重要な能力を示した。
しかし、彼らの計算要求は資源に制約のある環境への展開を著しく制限する。
知識蒸留は有望な圧縮ソリューションを提供するが、人間のつながりを導く暗黙の文脈的手がかりを見落としているため、共感に不可欠なニュアンス理解の伝達に失敗することが多い。
このギャップを埋めるため, 音声対話生成(PRIDE)のための知識強化手法として, テキストbf{pr}ivileged \textbf{i}nformation-enhanced knowledge \textbf{d}istillation法を提案する。
本手法は,専門家の心理学的アノテーションや,トレーニング時にのみ利用できるが,推論時に利用できないイベント要約などの特権情報を活用する。
これにより、デプロイ中に追加の入力に頼ることなく、教師モデルの共感的推論をより小さなモデルに転送できる。
特に, PRIDE は,(1) 感情理解と状況分析に共感過程を明示的に分解させる共感推論プロンプト, (2) 学生に特権情報の効果的な統合を指示するマルチソースアテンション機構,(3) 逆向きのKullback-Leibler の発散と最大平均不一致を組み合わせ、ロジットレベルと特徴レベルの両方において堅牢な知識伝達を保証するための2つのアライメント損失がある。
マルチモーダル・テキストのみのデータセットを用いた実験により,本手法は競争性能が向上し,精度と意味的関連性の観点から,より大きな教師モデルに適合する,あるいは超越する場合もある。
関連論文リスト
- On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
教師付き微調整後の文脈認識の喪失について検討した。
性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。
一般命令微調整データセットから文脈依存例を識別する指標を提案する。
論文 参考訳（メタデータ） (2024-11-05T00:16:01Z) - Dude: Dual Distribution-Aware Context Prompt Learning For Large Vision-Language Model [27.56988000960972]
ドメイン共有コンテキストとクラス固有コンテキストの両方の2つのコンテキストに基づいた新しいフレームワークを導入する。
このような二重プロンプト手法は、大規模言語モデルで符号化された暗黙的および明示的な要素を結合することによって、モデルの特徴表現を強化する。
また、構築されたプロンプトと視覚トークンの関係を定量化するために、不均衡最適輸送(UOT)理論を定式化する。
論文 参考訳（メタデータ） (2024-07-05T13:15:29Z) - Blending Reward Functions via Few Expert Demonstrations for Faithful and
Accurate Knowledge-Grounded Dialogue Generation [22.38338205905379]
我々は、新しい報酬関数を導入することで上記の課題を克服するために強化学習アルゴリズムを活用する。
我々の報奨関数は、精度測定値と忠実度測定値を組み合わせて、生成された応答のバランスの取れた品質判定を提供する。
論文 参考訳（メタデータ） (2023-11-02T02:42:41Z) - DPL: Decoupled Prompt Learning for Vision-Language Models [41.90997623029582]
本稿では,この問題を緩和するために,学習者の注意を再構築する新しい手法,Decoupled Prompt Learningを提案する。
我々のアプローチは、視覚的・テキスト的モダリティの両方に柔軟であり、マルチモーダル・プロンプト・ラーニングに容易に拡張できる。
論文 参考訳（メタデータ） (2023-08-19T15:48:38Z) - Context-faithful Prompting for Large Language Models [51.194410884263135]
大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。
パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。
我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
論文 参考訳（メタデータ） (2023-03-20T17:54:58Z) - RHO ($\rho$): Reducing Hallucination in Open-domain Dialogues with
Knowledge Grounding [57.46495388734495]
本稿では、知識グラフ(KG)からリンクされたエンティティと関係述語を表現したRHO(rho$)を提案する。
本稿では,(1)テキスト埋め込みと対応するKG埋め込みを組み合わせるための局所知識基盤,(2)注目機構を介してRHOにマルチホップ推論能力を持たせるためのグローバル知識基盤を提案する。
論文 参考訳（メタデータ） (2022-12-03T10:36:34Z) - Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。
事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。
しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
論文 参考訳（メタデータ） (2022-05-23T07:51:15Z) - Analysis of Joint Speech-Text Embeddings for Semantic Matching [3.6423306784901235]
ペア音声と書き起こし入力の距離を最小化することにより,セマンティックマッチングのために訓練された共同音声テキスト埋め込み空間について検討する。
我々は,事前学習とマルチタスクの両方のシナリオを通じて,音声認識を組み込む方法を拡張した。
論文 参考訳（メタデータ） (2022-04-04T04:50:32Z) - Knowledge Enhanced Fine-Tuning for Better Handling Unseen Entities in
Dialogue Generation [33.806361531386685]
1)マスキングされた単語を解釈し,その文脈からマスキングされたエンティティの意味を推測する,2)コンテキストに基づいてエンティティのハイパーネムを予測する,ハイパーネム生成という2つの補助的訓練目標を導入する。
2つの対話コーパスの実験結果から,本手法の有効性を,利用可能な知識と利用できない設定の両方で検証した。
論文 参考訳（メタデータ） (2021-09-12T11:13:19Z) - Improving Machine Reading Comprehension with Contextualized Commonsense
Knowledge [62.46091695615262]
我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。
構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。
我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
論文 参考訳（メタデータ） (2020-09-12T17:20:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。