論文の概要: Augmenting Transformers with KNN-Based Composite Memory for Dialogue

• arxiv url: http://arxiv.org/abs/2004.12744v2
• Date: Tue, 10 Nov 2020 22:40:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 05:21:43.850534
• Title: Augmenting Transformers with KNN-Based Composite Memory for Dialogue
• Title（参考訳）: 対話用KNN合成メモリを用いた変換器の拡張
• Authors: Angela Fan, Claire Gardent, Chloe Braud, Antoine Bordes
• Abstract要約: 我々は、KNNベースの情報フェッチング(KIF)モジュールを用いた生成トランスフォーマーニューラルネットワークの拡張を提案する。 我々はこれらのモジュールを生成ダイアログモデリングに適用し、会話の話題や流れを維持するために情報を柔軟に検索し、組み込むという課題を解決した。 本稿では,ウィキペディアや画像,人文音声からの対話に必要な関連知識を識別し,本手法の有効性を実証し,この情報を活用することにより,自動評価と人文評価によるモデル性能の向上が図られることを示す。
• 参考スコア（独自算出の注目度）: 22.677844670431885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Various machine learning tasks can benefit from access to external information of different modalities, such as text and images. Recent work has focused on learning architectures with large memories capable of storing this knowledge. We propose augmenting generative Transformer neural networks with KNN-based Information Fetching (KIF) modules. Each KIF module learns a read operation to access fixed external knowledge. We apply these modules to generative dialog modeling, a challenging task where information must be flexibly retrieved and incorporated to maintain the topic and flow of conversation. We demonstrate the effectiveness of our approach by identifying relevant knowledge required for knowledgeable but engaging dialog from Wikipedia, images, and human-written dialog utterances, and show that leveraging this retrieved information improves model performance, measured by automatic and human evaluation.
• Abstract（参考訳）: さまざまな機械学習タスクは、テキストや画像など、さまざまなモダリティの外部情報へのアクセスによるメリットがある。 最近の研究は、この知識を保存できる大きな記憶を持つ学習アーキテクチャに焦点を当てている。 我々は、KNNベースの情報フェッチング(KIF)モジュールを用いた生成トランスフォーマーニューラルネットワークの拡張を提案する。 各KIFモジュールは、固定された外部知識にアクセスするための読み取り操作を学習する。 これらのモジュールを生成的ダイアログモデリングに適用し,話題や会話の流れを維持するために,情報を柔軟に検索し,組み込む必要がある課題である。 本稿では,ウィキペディアや画像,人文音声からの対話に必要な関連知識を識別し,本手法の有効性を実証し,この情報を活用することにより,自動評価と人文評価によるモデル性能の向上が図られることを示す。

関連論文リスト

• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• Knowledge-enhanced Agents for Interactive Text Games [16.055119735473017]
  テキストベースのゲームにおいてエージェントの機能的接地を改善するための知識注入フレームワークを提案する。 学習に基づくエージェントに注入するドメイン知識の2つの形態について考察する。 我々のフレームワークは、強化学習エージェントと言語モデルエージェントの2つの代表的なモデルクラスをサポートしている。
  論文  参考訳（メタデータ） (2023-05-08T23:31:39Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)
• Dynamically Retrieving Knowledge via Query Generation for informative dialogue response [7.196104022425989]
  DRKQG (emphDynamically Retrieving Knowledge via Query Generation for informative dialogue response) という知識駆動型対話システムを設計する。 まず、時間認識機構を用いてコンテキスト情報をキャプチャし、知識を検索するためのクエリを生成する。 そこで我々は,応答生成モジュールがコンテキストから派生した応答を生成し,検索した知識を生成できるコピー機構とトランスフォーマーを統合した。
  論文  参考訳（メタデータ） (2022-07-30T03:05:43Z)
• Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
  我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。 我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
  論文  参考訳（メタデータ） (2022-07-26T19:35:49Z)
• Lexical Knowledge Internalization for Neural Dialog Generation [36.27946635687281]
  本稿では,語彙的知識をニューラルダイアログモデルに補完することを目的とした知識内在化(KI)を提案する。 語彙知識の大規模化による課題に対処するため,コントラスト学習アプローチを採用し,トークンレベルの語彙知識検索を効果的に行う。
  論文  参考訳（メタデータ） (2022-05-04T08:23:44Z)
• Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
  そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。 FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-01-15T03:00:27Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。