論文の概要: Toward Interpretability of Dual-Encoder Models for Dialogue Response Suggestions

• arxiv url: http://arxiv.org/abs/2003.04998v1
• Date: Mon, 2 Mar 2020 21:26:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 03:55:42.036685
• Title: Toward Interpretability of Dual-Encoder Models for Dialogue Response Suggestions
• Title（参考訳）: 対話応答提案のためのデュアルエンコーダモデルの解釈可能性に向けて
• Authors: Yitong Li, Dianqi Li, Sushant Prakash and Peng Wang
• Abstract要約: 本稿では、2つのエンコーダから抽出した単語レベルの特徴の上位にアテンション機構を含む注意型二重エンコーダモデルを提案する。 我々は、重要でない単語と望ましいラベルの相互情報を最小化するために、新しい正規化損失を設計する。 実験では、Recall@1の精度と可視性の観点から、提案モデルの有効性を示す。
• 参考スコア（独自算出の注目度）: 18.117115200484708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work shows how to improve and interpret the commonly used dual encoder model for response suggestion in dialogue. We present an attentive dual encoder model that includes an attention mechanism on top of the extracted word-level features from two encoders, one for context and one for label respectively. To improve the interpretability in the dual encoder models, we design a novel regularization loss to minimize the mutual information between unimportant words and desired labels, in addition to the original attention method, so that important words are emphasized while unimportant words are de-emphasized. This can help not only with model interpretability, but can also further improve model accuracy. We propose an approximation method that uses a neural network to calculate the mutual information. Furthermore, by adding a residual layer between raw word embeddings and the final encoded context feature, word-level interpretability is preserved at the final prediction of the model. We compare the proposed model with existing methods for the dialogue response task on two public datasets (Persona and Ubuntu). The experiments demonstrate the effectiveness of the proposed model in terms of better Recall@1 accuracy and visualized interpretability.
• Abstract（参考訳）: この研究は、対話における応答提案のための一般的なデュアルエンコーダモデルの改善と解釈方法を示す。 本稿では,2つのエンコーダから抽出した単語レベル特徴の上位にアテンション機構を含む注意型二重エンコーダモデルを提案する。 両エンコーダモデルの解釈性を向上させるため,重要でない単語と所望のラベルの相互情報を最小限に抑える新たな正規化損失を設計し,重要でない単語が強調されずに重要な単語が強調されるようにした。 これはモデル解釈性だけでなく、モデルの精度をさらに向上させるのに役立つ。 本稿では,ニューラルネットワークを用いて相互情報を計算する近似法を提案する。 さらに、生単語埋め込みと最終符号化された文脈特徴の間に残層を追加することにより、単語レベルの解釈性はモデルの最終的な予測時に保持される。 提案モデルと既存の2つの公開データセット(PersonaとUbuntu)の対話応答タスクの手法を比較した。 実験では、Recall@1の精度と可視性の観点から、提案モデルの有効性を実証した。

関連論文リスト

• Interpret the Internal States of Recommendation Model with Sparse Autoencoder [26.021277330699963]
  RecSAEは、レコメンデーションモデルの内部状態を解釈するための、自動で一般化可能な探索手法である。 我々は、推薦モデルの内部アクティベーションを再構築するために、疎度制約付きオートエンコーダを訓練する。 我々は、潜在活性化と入力項目列の関係に基づき、概念辞書の構築を自動化した。
  論文  参考訳（メタデータ） (2024-11-09T08:22:31Z)
• Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval [55.90407811819347]
  モデルが類似した結果を返すことを目的とした,パラフレーズ付きテキスト画像検索の課題について考察する。 我々は、大きなテキストコーパスで事前訓練された言語モデルから始まる二重エンコーダモデルを訓練する。 CLIPやOpenCLIPのような公開デュアルエンコーダモデルと比較して、最高の適応戦略で訓練されたモデルは、パラフレーズクエリのランク付けの類似性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-06T06:30:17Z)
• Can Your Model Tell a Negation from an Implicature? Unravelling Challenges With Intent Encoders [24.42199777529863]
  大きな言語モデル(LLM)は、プロンプトを使って埋め込み空間のセマンティクスを調整できる埋め込みを可能にする。 従来の評価ベンチマークは、セマンティック理解に関連するギャップを特に計測しないタスクメトリクスのみに依存しています。 インテント埋め込みモデルのより包括的なビューを提供するインテントセマンティックツールキットを提案する。
  論文  参考訳（メタデータ） (2024-03-07T08:32:17Z)
• Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
  本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。 第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。 マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T08:06:22Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Distilled Dual-Encoder Model for Vision-Language Understanding [50.42062182895373]
  本稿では,視覚言語理解タスクのためのデュアルエンコーダモデルをトレーニングするための多モードアテンション蒸留フレームワークを提案する。 プレトレーニングと微調整の両方にクロスモーダルアテンション蒸留を適用することで,さらなる改良が期待できることを示す。
  論文  参考訳（メタデータ） (2021-12-16T09:21:18Z)
• Tracing Origins: Coref-aware Machine Reading Comprehension [43.352833140317486]
  そこで,本研究では,アナフォリック表現を接続する際の人間の読影過程を模倣し,コア参照情報を活用し,事前学習モデルから単語の埋め込みを強化する。 学習段階におけるコア参照情報の明示的な組み込みは,事前学習言語モデルの訓練において,コア参照情報の組み込みよりも優れていたことを実証した。
  論文  参考訳（メタデータ） (2021-10-15T09:28:35Z)
• Cross Modification Attention Based Deliberation Model for Image Captioning [11.897899189552318]
  画像キャプションのためのユニバーサル2パスデコードフレームワークを提案する。 シングルパス復号モデルが最初に入力画像に応じてドラフトキャプションを生成する。 次に、検討モデルが研磨処理を行い、ドラフトキャプションを洗練して画像記述を改善する。
  論文  参考訳（メタデータ） (2021-09-17T08:38:08Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。