論文の概要: Mask & Focus: Conversation Modelling by Learning Concepts

• arxiv url: http://arxiv.org/abs/2003.04976v1
• Date: Tue, 11 Feb 2020 15:11:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 01:01:17.877575
• Title: Mask & Focus: Conversation Modelling by Learning Concepts
• Title（参考訳）: Mask & Focus:学習概念による会話モデリング
• Authors: Gaurav Pandey, Dinesh Raghu and Sachindra Joshi
• Abstract要約: Mask & Focusは入力コンテキストを、応答の概念を生成するために使用される一連の概念にマッピングする。 我々は,文脈概念に関して高い相互情報を持つ応答概念を学習するために,我々のモデルを訓練する。
• 参考スコア（独自算出の注目度）: 17.48043360979556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence to sequence models attempt to capture the correlation between all the words in the input and output sequences. While this is quite useful for machine translation where the correlation among the words is indeed quite strong, it becomes problematic for conversation modelling where the correlation is often at a much abstract level. In contrast, humans tend to focus on the essential concepts discussed in the conversation context and generate responses accordingly. In this paper, we attempt to mimic this response generating mechanism by learning the essential concepts in the context and response in an unsupervised manner. The proposed model, referred to as Mask \& Focus maps the input context to a sequence of concepts which are then used to generate the response concepts. Together, the context and the response concepts generate the final response. In order to learn context concepts from the training data automatically, we \emph{mask} words in the input and observe the effect of masking on response generation. We train our model to learn those response concepts that have high mutual information with respect to the context concepts, thereby guiding the model to \emph{focus} on the context concepts. Mask \& Focus achieves significant improvement over the existing baselines in several established metrics for dialogues.
• Abstract（参考訳）: シーケンスモデルへのシーケンスは、入力シーケンスと出力シーケンスのすべての単語間の相関を捉えようとする。 これは、単語間の相関が実際に非常に強い機械翻訳において非常に有用であるが、その相関がより抽象的なレベルであるような会話モデリングでは問題となる。 対照的に、人間は会話の文脈で議論される基本的な概念に集中し、それに応じて反応を生成する傾向にある。 本稿では,この応答生成機構を,文脈と応答の基本的な概念を教師なしで学習することによって模倣しようとする。 提案したモデルはMask \& Focusと呼ばれ、入力コンテキストを一連の概念にマッピングし、応答の概念を生成する。 コンテキストと応答の概念を合わせて、最終的な応答を生成する。 学習データから文脈概念を自動学習するために,入力中の単語「emph{mask}」を入力し,マスキングが応答生成に与える影響を観察する。 我々は,文脈概念に関して高い相互情報を持つ応答概念を学習するためにモデルを訓練し,文脈概念に基づいてemph{focus}にモデルを誘導する。 Mask \& Focusは、対話のためのいくつかの確立されたメトリクスにおいて、既存のベースラインよりも大幅に改善されている。

関連論文リスト

• Token Trails: Navigating Contextual Depths in Conversational AI with ChatLLM [0.5743699972363359]
  Token Trailsは、トークンタイプの埋め込みを利用して会話内のコンテキストニュアンスをナビゲートする、新しいアプローチである。 本フレームワークはトークン型埋め込みを利用して,ユーザの発話とボット応答を区別し,コンテキスト認識応答の生成を容易にする。
  論文  参考訳（メタデータ） (2024-04-03T02:11:39Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling [3.3578533367912025]
  本稿では,対話コンテキストの拡張バージョンを学習目的に組み込むフレームワークを提案する。 提案手法は,従来のデータ拡張手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-15T23:39:41Z)
• Cooperative Learning of Zero-Shot Machine Reading Comprehension [9.868221447090855]
  質問生成と回答のための協調的自己学習モデルを提案する。 注釈なしで任意のテキストコーポラで質問生成と回答モデルをトレーニングできます。 私たちのモデルは、標準質問応答ベンチマークで最先端の事前学習された言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2021-03-12T18:22:28Z)
• Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues [73.04906599884868]
  対話文脈(PDC)における推論経路の新しい枠組みを提案する。 PDCモデルは、各質問と回答の語彙成分に基づいて構築されたセマンティックグラフを通じて、対話間の情報フローを発見する。 本モデルでは,この推論経路を通じて視覚情報とテキスト情報を逐次的に処理し,提案する特徴を用いて回答を生成する。
  論文  参考訳（メタデータ） (2021-03-01T07:39:26Z)
• Generating Dialogue Responses from a Semantic Latent Space [75.18449428414736]
  語彙のエンドツーエンド分類に代わる方法を提案する。 潜在空間上の回帰タスクとして,プロンプトと応答のペア関係を学習する。 人間の評価は、連続した空間でタスクを学習すると、関連性と情報性の両方を持つ応答が生成されることを示した。
  論文  参考訳（メタデータ） (2020-10-04T19:06:16Z)
• Modeling Topical Relevance for Multi-Turn Dialogue Generation [61.87165077442267]
  マルチターン対話におけるトピックドリフト問題に対処する新しいモデルSTAR-BTMを提案する。 バイラルトピックモデルは、トレーニングデータセット全体に基づいて事前トレーニングされ、各コンテキストのトピック表現に基づいてトピックレベルの注意重みが計算される。 中国における顧客サービスデータと英語Ubuntuの対話データの両方の実験結果から、STAR-BTMは最先端の手法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-09-27T03:33:22Z)
• Corpus-level and Concept-based Explanations for Interpretable Document Classification [23.194220621342254]
  本稿では,キーワードとモデル予測の間の因果関係を捉えるためのコーパスレベルの説明手法を提案する。 また,より高レベルな概念を自動学習し,モデル予測タスクにおいて重要となる概念に基づく説明手法を提案する。
  論文  参考訳（メタデータ） (2020-04-24T20:54:17Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)
• Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence [29.874072827824627]
  提案手法は,従来のbag-of-wordsトピックモデルや最近のニューラルモデルよりも有意義で一貫性のあるトピックを生成する。 以上の結果から,言語モデルの今後の改良は,より優れたトピックモデルに変換されることが示唆された。
  論文  参考訳（メタデータ） (2020-04-08T12:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。