論文の概要: An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks

• arxiv url: http://arxiv.org/abs/2210.16773v1
• Date: Sun, 30 Oct 2022 08:34:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 14:46:25.559631
• Title: An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
• Title（参考訳）: 知識集約型nlpタスクのための高能率メモリ誘導トランス
• Authors: Yuxiang Wu, Yu Zhao, Baotian Hu, Pasquale Minervini, Pontus Stenetorp and Sebastian Riedel
• Abstract要約: パラメトリックおよび検索強化モデルは、計算効率と予測精度の点で相補的な長所を持つ。 効率的なメモリ拡張トランス(EMAT)を提案する。 外部の知識をキーバリューメモリにエンコードし、メモリクエリの高速な最大内部製品検索を利用する。
• 参考スコア（独自算出の注目度）: 40.81306982129298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Access to external knowledge is essential for many natural language processing tasks, such as question answering and dialogue. Existing methods often rely on a parametric model that stores knowledge in its parameters, or use a retrieval-augmented model that has access to an external knowledge source. Parametric and retrieval-augmented models have complementary strengths in terms of computational efficiency and predictive accuracy. To combine the strength of both approaches, we propose the Efficient Memory-Augmented Transformer (EMAT) -- it encodes external knowledge into a key-value memory and exploits the fast maximum inner product search for memory querying. We also introduce pre-training tasks that allow EMAT to encode informative key-value representations, and to learn an implicit strategy to integrate multiple memory slots into the transformer. Experiments on various knowledge-intensive tasks such as question answering and dialogue datasets show that, simply augmenting parametric models (T5-base) using our method produces more accurate results (e.g., 25.8 -> 44.3 EM on NQ) while retaining a high throughput (e.g., 1000 queries/s on NQ). Compared to retrieval-augmented models, EMAT runs substantially faster across the board and produces more accurate results on WoW and ELI5. Our code and datasets are available at https://github. com/uclnlp/EMAT.
• Abstract（参考訳）: 質問応答や対話など、多くの自然言語処理タスクには、外部知識へのアクセスが不可欠である。 既存の手法では、知識をパラメータに格納するパラメトリックモデルや、外部の知識ソースにアクセス可能な検索型モデルに依存することが多い。 パラメトリックおよび検索強化モデルは、計算効率と予測精度の点で相補的な長所を持つ。 両手法の強みを組み合わせるために,鍵値メモリに外部知識をエンコードし,高速な内部製品探索によるメモリクエリを実現するEMAT(Efficient Memory-Augmented Transformer)を提案する。 また、EMATが情報的キー値表現を符号化し、複数のメモリスロットを変換器に統合するための暗黙の戦略を学ぶための事前学習タスクも導入する。 質問応答や対話データセットなどの知識集約的なタスクの実験では、パラメトリックモデル(T5-base)を我々の手法で拡張するだけでより正確な結果(例えば、25.8 -> 44.3 EM on NQ)が得られ、高いスループット(例えば、1000クエリ/s on NQ)を維持している。 検索強化モデルと比較すると、EMATはボード全体で大幅に高速に動作し、WoWとELI5でより正確な結果が得られる。 コードとデータセットはhttps://github.com/で公開しています。 略称は、emat。

関連論文リスト

• Parametric Retrieval Augmented Generation [32.29608109539912]
  Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。 これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-27T10:04:49Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 よりシンプルで知識集約的なタスクでは記憶が大きな役割を担い、一方、一般化はより困難で推論に基づくタスクでは鍵となる。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• MATTER: Memory-Augmented Transformer Using Heterogeneous Knowledge Sources [12.783393023641505]
  我々は、MATTERと呼ばれる効率的なメモリ拡張変換器を導入する。 MATTERは、固定長のニューラルメモリの形で、非構造化ソース(パラグラフ)と半構造化ソース(QAペア)の両方から読み取る。 提案モデルでは,従来のQAベンチマークにおいて,精度と速度の両面で,既存の効率的な検索強化モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:35:37Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)
• Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models [58.42146641102329]
  我々は、新しい半パラメトリック言語モデルアーキテクチャ、Knowledge-in-Context(KiC)を開発した。 KiCは知識豊富な外部メモリを備えたパラメトリックテキスト-テキスト言語モデルを提供する。 知識豊富なセミパラメトリック言語モデルとして、KiCは、目に見えないタスクにおいて優れたゼロショットパフォーマンスを達成するために、はるかに小さな部分しか必要としない。
  論文  参考訳（メタデータ） (2022-10-28T23:18:43Z)
• Re2G: Retrieve, Rerank, Generate [14.848179433828252]
  ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。 エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。 KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
  論文  参考訳（メタデータ） (2022-07-13T15:51:40Z)
• Logical Reasoning for Task Oriented Dialogue Systems [57.440956636333325]
  本稿では,ロバータやT5などの変圧器モデルに対して,与えられた対話コンテキストにおける事実の集合を推論する新しい手法を提案する。 本手法は,モデルが論理関係を学習するのに役立つ合成データ生成機構を含む。 対話コンテキストが全ての必要な情報を含む場合、変換器に基づくモデルが論理的推論を行い、質問に答えることを示す。
  論文  参考訳（メタデータ） (2022-02-08T21:46:27Z)
• Mention Memory: incorporating textual knowledge into Transformers through entity mention attention [21.361822569279003]
  本稿では,大規模テキストコーパスの半パラメトリック表現を,事実知識の源泉としてトランスフォーマーモデルに統合することを提案する。 提案するモデル - TOME は内部メモリ層を通じて情報にアクセスするトランスフォーマーであり、入力通路に記述された各エンティティが参照メモリに付随する。 ウィキペディアが言及した1億5000万のメモリを使った実験では、TOMEはいくつかのオープンドメインの知識集約タスクで高いパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2021-10-12T17:19:05Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。