論文の概要: ATLANTIC: Structure-Aware Retrieval-Augmented Language Model for
Interdisciplinary Science
- arxiv url: http://arxiv.org/abs/2311.12289v1
- Date: Tue, 21 Nov 2023 02:02:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 02:35:23.823123
- Title: ATLANTIC: Structure-Aware Retrieval-Augmented Language Model for
Interdisciplinary Science
- Title(参考訳): ATLANTIC:学際科学のための構造対応検索言語モデル
- Authors: Sai Munikoti, Anurag Acharya, Sridevi Wagle, Sameera Horawalavithana
- Abstract要約: 大きな言語モデルは、多くの自然言語処理タスクで印象的なパフォーマンスを記録します。
Retrieval augmentationは、外部の知識ソースからコンテキストを取得することで、効果的なソリューションを提供する。
本稿では,検索強化時に文書構造に対応する構造対応検索言語モデルを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models record impressive performance on many natural language
processing tasks. However, their knowledge capacity is limited to the
pretraining corpus. Retrieval augmentation offers an effective solution by
retrieving context from external knowledge sources to complement the language
model. However, existing retrieval augmentation techniques ignore the
structural relationships between these documents. Furthermore, retrieval models
are not explored much in scientific tasks, especially in regard to the
faithfulness of retrieved documents. In this paper, we propose a novel
structure-aware retrieval augmented language model that accommodates document
structure during retrieval augmentation. We create a heterogeneous document
graph capturing multiple types of relationships (e.g., citation, co-authorship,
etc.) that connect documents from more than 15 scientific disciplines (e.g.,
Physics, Medicine, Chemistry, etc.). We train a graph neural network on the
curated document graph to act as a structural encoder for the corresponding
passages retrieved during the model pretraining. Particularly, along with text
embeddings of the retrieved passages, we obtain structural embeddings of the
documents (passages) and fuse them together before feeding them to the language
model. We evaluate our model extensively on various scientific benchmarks that
include science question-answering and scientific document classification
tasks. Experimental results demonstrate that structure-aware retrieval improves
retrieving more coherent, faithful and contextually relevant passages, while
showing a comparable performance in the overall accuracy.
- Abstract(参考訳): 大きな言語モデルは、多くの自然言語処理タスクで印象的なパフォーマンスを記録します。
しかし、その知識能力は訓練前のコーパスに限られている。
Retrieval augmentationは、言語モデルを補完するために外部知識ソースからコンテキストを取得することで、効果的なソリューションを提供する。
しかし、既存の検索強化技術はこれらの文書間の構造的関係を無視する。
さらに、検索モデルは、特に検索された文書の忠実性に関して、科学的タスクではあまり研究されていない。
本稿では,検索拡張中に文書構造に対応する新しい構造認識検索拡張言語モデルを提案する。
我々は、15以上の科学分野(物理、医学、化学など)の文書を接続する、複数の種類の関係(引用、共著者など)をキャプチャする異種文書グラフを作成する。
我々は,キュレートされた文書グラフ上でグラフニューラルネットワークを訓練し,モデル事前学習中に検索された対応するパスの構造エンコーダとして機能させる。
特に、検索された文のテキスト埋め込みとともに、文書(パス)の構造的な埋め込みを取得し、それらを融合して言語モデルに供給する。
我々は,科学的質問応答や科学的文書分類タスクを含む様々な科学的ベンチマークに基づいて,我々のモデルを広範囲に評価する。
実験の結果, 構造認識検索により, より一貫性, 忠実, 文脈的に関連した文の検索が改善され, 全体の精度で同等の性能が得られた。
関連論文リスト
- Finding Pragmatic Differences Between Disciplines [14.587150614245123]
文書セクションのドメインに依存しない記述子の固定セットを学習し、これらの記述子にコーパスを"再最適化"する。
我々は、これらの記述子の位置と順序を文書間で分析し、規律と構造の関係を理解する。
本研究は,研究の質,ドメインスタイルの移譲,さらに実践的な分析を行うための基礎となるものである。
論文 参考訳(メタデータ) (2023-09-30T00:46:14Z) - Joint Language Semantic and Structure Embedding for Knowledge Graph
Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。
本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。
各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文 参考訳(メタデータ) (2022-09-19T02:41:02Z) - CitationIE: Leveraging the Citation Graph for Scientific Information
Extraction [89.33938657493765]
引用論文と引用論文の参照リンクの引用グラフを使用する。
最先端技術に対するエンド・ツー・エンドの情報抽出の大幅な改善を観察する。
論文 参考訳(メタデータ) (2021-06-03T03:00:12Z) - Are Neural Language Models Good Plagiarists? A Benchmark for Neural
Paraphrase Detection [5.847824494580938]
トランスフォーマーアーキテクチャに基づく最近の言語モデルを用いたパラフレーズ記事からなるベンチマークを提案する。
我々の貢献は、パラフレーズ検出システムに関する将来的な研究を後押しし、大量の原文およびパラフレーズ文書のコレクションを提供する。
論文 参考訳(メタデータ) (2021-03-23T11:01:35Z) - Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
テキストのディープフェイク検出のためのグラフベースモデルを提案する。
我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。
本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
論文 参考訳(メタデータ) (2020-10-15T02:35:31Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z) - SPECTER: Document-level Representation Learning using Citation-informed
Transformers [51.048515757909215]
SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。
SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
論文 参考訳(メタデータ) (2020-04-15T16:05:51Z) - Explaining Relationships Between Scientific Documents [55.23390424044378]
本稿では,2つの学術文書間の関係を自然言語テキストを用いて記述する課題に対処する。
本稿では154K文書から622Kサンプルのデータセットを作成する。
論文 参考訳(メタデータ) (2020-02-02T03:54:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。