Fugu-MT 論文翻訳(概要): Relational Memory Augmented Language Models

論文の概要: Relational Memory Augmented Language Models

arxiv url: http://arxiv.org/abs/2201.09680v1
Date: Mon, 24 Jan 2022 13:25:41 GMT
ステータス: 処理完了
システム内更新日: 2022-01-25 21:55:36.175234
Title: Relational Memory Augmented Language Models
Title（参考訳）: リレーショナルメモリ拡張言語モデル
Authors: Qi Liu, Dani Yogatama, Phil Blunsom
Abstract要約: 本稿では,知識グラフ上に自己回帰言語モデルを記述するためのメモリ拡張手法を提案する。提案手法は,文字単位のパープレキシティとビットの点で,より優れた言語モデルを生成する。
参考スコア（独自算出の注目度）: 40.626389607433936
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a memory-augmented approach to condition an autoregressive language model on a knowledge graph. We represent the graph as a collection of relation triples and retrieve relevant relations for a given context to improve text generation. Experiments on WikiText-103, WMT19, and enwik8 English datasets demonstrate that our approach produces a better language model in terms of perplexity and bits per character. We also show that relational memory improves coherence, is complementary to token-based memory, and enables causal interventions. Our model provides a simple yet effective way to combine an autoregressive language model with a knowledge graph for a more coherent and logical generation.
Abstract（参考訳）: 本稿では,知識グラフ上に自己回帰言語モデルを記述するためのメモリ拡張手法を提案する。我々は,このグラフを関係トリプルの集合として表現し,テキスト生成を改善するために与えられたコンテキストに関する関係を検索する。 WikiText-103, WMT19, enwik8 の英語データセットを用いた実験により,本手法は文字単位のパープレキシティとビットの点で,よりよい言語モデルを生成することが示された。また、リレーショナルメモリはコヒーレンスを改善し、トークンベースのメモリを補完し、因果介入を可能にすることを示す。我々のモデルは、より一貫性があり論理的な生成のための知識グラフと自己回帰型言語モデルを組み合わせるための、シンプルで効果的な方法を提供する。

関連論文リスト

Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering [58.17090503446995]
我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
論文参考訳（メタデータ） (2024-06-14T13:28:03Z)
Semi-automatic Data Enhancement for Document-Level Relation Extraction with Distant Supervision from Large Language Models [26.523153535336725]
ドキュメントレベルの関係抽出(DocRE)は、長いコンテキストから関係を抽出することを目的としている。本稿では,大規模言語モデル (LLM) と自然言語推論 (NLI) モジュールを統合する手法を提案する。 DocGNREと呼ばれる拡張データセットを導入することで,提案手法の有効性を実証する。
論文参考訳（メタデータ） (2023-11-13T13:10:44Z)
Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation [23.54754465832362]
従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。知識グラフ強化対話生成のための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-06-28T13:21:00Z)
KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
論文参考訳（メタデータ） (2022-11-04T20:38:12Z)
Imposing Relation Structure in Language-Model Embeddings Using Contrastive Learning [30.00047118880045]
グラフ構造における関係をエンコードするために文埋め込みを訓練する新しいコントラスト学習フレームワークを提案する。結果として得られた関係認識文の埋め込みは、関係抽出タスクにおける最先端の結果を得る。
論文参考訳（メタデータ） (2021-09-02T10:58:27Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent Semantic Parsing [52.24507547010127]
ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
論文参考訳（メタデータ） (2021-01-05T18:11:29Z)
Leveraging Graph to Improve Abstractive Multi-Document Summarization [50.62418656177642]
我々は、文書のよく知られたグラフ表現を活用することができる、抽象的多文書要約(MDS)モデルを開発する。本モデルでは,長い文書の要約に欠かせない文書間関係を捉えるために,文書の符号化にグラフを利用する。また,このモデルでは,要約生成プロセスの導出にグラフを利用することが可能であり,一貫性と簡潔な要約を生成するのに有用である。
論文参考訳（メタデータ） (2020-05-20T13:39:47Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。