論文の概要: A Unified Encoder-Decoder Framework with Entity Memory

• arxiv url: http://arxiv.org/abs/2210.03273v3
• Date: Mon, 24 Apr 2023 01:54:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 23:36:48.975218
• Title: A Unified Encoder-Decoder Framework with Entity Memory
• Title（参考訳）: エンティティメモリを備えた統一エンコーダデコーダフレームワーク
• Authors: Zhihan Zhang, Wenhao Yu, Chenguang Zhu, Meng Jiang
• Abstract要約: 本稿では,エンティティメモリ,すなわちEDMemを備えたエンコーダデコーダフレームワークを提案する。 エンティティ知識は遅延表現としてメモリに格納され、メモリはエンコーダ-デコーダパラメータとともにWikipediaで事前トレーニングされる。
• 参考スコア（独自算出の注目度）: 40.11573614492037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entities, as important carriers of real-world knowledge, play a key role in many NLP tasks. We focus on incorporating entity knowledge into an encoder-decoder framework for informative text generation. Existing approaches tried to index, retrieve, and read external documents as evidence, but they suffered from a large computational overhead. In this work, we propose an encoder-decoder framework with an entity memory, namely EDMem. The entity knowledge is stored in the memory as latent representations, and the memory is pre-trained on Wikipedia along with encoder-decoder parameters. To precisely generate entity names, we design three decoding methods to constrain entity generation by linking entities in the memory. EDMem is a unified framework that can be used on various entity-intensive question answering and generation tasks. Extensive experimental results show that EDMem outperforms both memory-based auto-encoder models and non-memory encoder-decoder models.
• Abstract（参考訳）: 実世界の知識の重要なキャリアであるエンティティは、多くのNLPタスクにおいて重要な役割を果たす。 我々は情報テキスト生成のためのエンコーダ・デコーダフレームワークにエンティティ知識を組み込むことに集中する。 既存のアプローチでは、外部文書を証拠としてインデックスし、検索し、読み取ろうとしたが、大きな計算オーバーヘッドに苦しんだ。 本研究では,エンティティメモリ,すなわちEDMemを備えたエンコーダデコーダフレームワークを提案する。 エンティティ知識は遅延表現としてメモリに格納され、メモリはエンコーダ-デコーダパラメータとともにWikipediaで事前トレーニングされる。 エンティティ名を正確に生成するために,メモリ内のエンティティをリンクすることでエンティティ生成を制約する3つのデコード手法を設計する。 EDMemは、様々なエンティティ集約的な質問応答および生成タスクで使用できる統一されたフレームワークである。 EDMemはメモリベースオートエンコーダモデルと非メモリエンコーダデコーダモデルの両方に優れていた。

関連論文リスト

• WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
  大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。 更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。 記憶のギャップを埋めるためにWISEを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:35:52Z)
• BED: Bi-Encoder-Decoder Model for Canonical Relation Extraction [23.132049060993506]
  本稿では,この問題を解決するために,BED(Bi-Encoder-Decoder)という新しいフレームワークを提案する。 具体的には、エンティティ情報を十分に活用するために、エンコーダを用いて、この情報の関係意味論を符号化し、高品質なエンティティ表現をもたらす。 提案手法は,従来の最先端技術よりも大幅な性能向上を実現し,再訓練を伴わずに新規エンティティを良好に処理する。
  論文  参考訳（メタデータ） (2023-12-12T09:14:55Z)
• Encode-Store-Retrieve: Augmenting Human Memory through Language-Encoded Egocentric Perception [19.627636189321393]
  メモリ拡張のための有望な道は、エゴセントリックなビデオをキャプチャして保存するために、拡張現実のヘッドマウントディスプレイを使用することである。 現在の技術では、大量のデータを効率的にエンコードして保存する能力が欠けている。 本稿では,ビデオデータの自然言語エンコーディングを活用し,ベクトルデータベースに格納するメモリ拡張エージェントを提案する。
  論文  参考訳（メタデータ） (2023-08-10T18:43:44Z)
• REVEAL: Retrieval-Augmented Visual-Language Pre-Training with Multi-Source Multimodal Knowledge Memory [119.98011559193574]
  エンドツーエンドの検索型ビジュアル言語モデル(REVEAL)を提案する。 世界の知識を大規模なメモリにエンコードし、そこから取り出して知識集約的なクエリに答えることを学ぶ。 このアプローチの重要な特徴は、メモリ、エンコーダ、レトリバー、ジェネレータはすべて、大量のデータに対して、エンドツーエンドで事前訓練されていることです。
  論文  参考訳（メタデータ） (2022-12-10T06:17:56Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
  プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。 木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。 我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
  論文  参考訳（メタデータ） (2022-03-08T04:48:07Z)
• Learning to Summarize Long Texts with Memory Compression and Transfer [3.5407857489235206]
  本稿では,階層的リカレントニューラルネットワークに基づくエンコーダデコーダアーキテクチャのためのメモリ・ツー・メモリ機構であるMem2Memを紹介する。 我々のメモリ正規化は、よりコンパクトな文表現セットに符号化された入力項目を圧縮する。
  論文  参考訳（メタデータ） (2020-10-21T21:45:44Z)
• Autoregressive Entity Retrieval [55.38027440347138]
  エンティティは、知識の表現と集約の方法の中心にあります。 クエリが与えられたエンティティを検索できることは、エンティティリンクやオープンドメインの質問応答のような知識集約的なタスクに基本となる。 本稿では,自己回帰方式でトークン・バイ・トークンを左から右に生成し,エンティティを検索する最初のシステムであるGENREを提案する。
  論文  参考訳（メタデータ） (2020-10-02T10:13:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。