論文の概要: ATLANTIC: Structure-Aware Retrieval-Augmented Language Model for Interdisciplinary Science

• arxiv url: http://arxiv.org/abs/2311.12289v1
• Date: Tue, 21 Nov 2023 02:02:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 02:35:23.823123
• Title: ATLANTIC: Structure-Aware Retrieval-Augmented Language Model for Interdisciplinary Science
• Title（参考訳）: ATLANTIC:学際科学のための構造対応検索言語モデル
• Authors: Sai Munikoti, Anurag Acharya, Sridevi Wagle, Sameera Horawalavithana
• Abstract要約: 大きな言語モデルは、多くの自然言語処理タスクで印象的なパフォーマンスを記録します。 Retrieval augmentationは、外部の知識ソースからコンテキストを取得することで、効果的なソリューションを提供する。 本稿では,検索強化時に文書構造に対応する構造対応検索言語モデルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models record impressive performance on many natural language processing tasks. However, their knowledge capacity is limited to the pretraining corpus. Retrieval augmentation offers an effective solution by retrieving context from external knowledge sources to complement the language model. However, existing retrieval augmentation techniques ignore the structural relationships between these documents. Furthermore, retrieval models are not explored much in scientific tasks, especially in regard to the faithfulness of retrieved documents. In this paper, we propose a novel structure-aware retrieval augmented language model that accommodates document structure during retrieval augmentation. We create a heterogeneous document graph capturing multiple types of relationships (e.g., citation, co-authorship, etc.) that connect documents from more than 15 scientific disciplines (e.g., Physics, Medicine, Chemistry, etc.). We train a graph neural network on the curated document graph to act as a structural encoder for the corresponding passages retrieved during the model pretraining. Particularly, along with text embeddings of the retrieved passages, we obtain structural embeddings of the documents (passages) and fuse them together before feeding them to the language model. We evaluate our model extensively on various scientific benchmarks that include science question-answering and scientific document classification tasks. Experimental results demonstrate that structure-aware retrieval improves retrieving more coherent, faithful and contextually relevant passages, while showing a comparable performance in the overall accuracy.
• Abstract（参考訳）: 大きな言語モデルは、多くの自然言語処理タスクで印象的なパフォーマンスを記録します。 しかし、その知識能力は訓練前のコーパスに限られている。 Retrieval augmentationは、言語モデルを補完するために外部知識ソースからコンテキストを取得することで、効果的なソリューションを提供する。 しかし、既存の検索強化技術はこれらの文書間の構造的関係を無視する。 さらに、検索モデルは、特に検索された文書の忠実性に関して、科学的タスクではあまり研究されていない。 本稿では,検索拡張中に文書構造に対応する新しい構造認識検索拡張言語モデルを提案する。 我々は、15以上の科学分野(物理、医学、化学など)の文書を接続する、複数の種類の関係(引用、共著者など)をキャプチャする異種文書グラフを作成する。 我々は,キュレートされた文書グラフ上でグラフニューラルネットワークを訓練し,モデル事前学習中に検索された対応するパスの構造エンコーダとして機能させる。 特に、検索された文のテキスト埋め込みとともに、文書(パス)の構造的な埋め込みを取得し、それらを融合して言語モデルに供給する。 我々は,科学的質問応答や科学的文書分類タスクを含む様々な科学的ベンチマークに基づいて,我々のモデルを広範囲に評価する。 実験の結果, 構造認識検索により, より一貫性, 忠実, 文脈的に関連した文の検索が改善され, 全体の精度で同等の性能が得られた。

関連論文リスト

• Synthetic continued pretraining [29.6872772403251]
  ドメイン固有文書の小さなコーパス上での合成継続事前学習を提案する。 合成データ拡張アルゴリズムであるEntiGraphでこの提案をインスタンス化する。 合成データ拡張が、よりデータ効率のよい学習を可能にするために、どのように知識を"再編成"できるかを示す。
  論文  参考訳（メタデータ） (2024-09-11T17:21:59Z)
• Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research [139.69207791947738]
  ドルマ (Dolma) は、ウェブコンテンツ、科学論文、コード、パブリックドメインの書籍、ソーシャルメディア、百科事典の素材を多用した3トリルの英語コーパスである。 我々はDolmaの設計原則、その構築の詳細、内容の要約を含む、Dolmaを文書化します。 我々は、重要なデータキュレーションの実践について学んだことを共有するために、Dolmaの中間状態の分析と実験結果を示す。
  論文  参考訳（メタデータ） (2024-01-31T20:29:50Z)
• CitationIE: Leveraging the Citation Graph for Scientific Information Extraction [89.33938657493765]
  引用論文と引用論文の参照リンクの引用グラフを使用する。 最先端技術に対するエンド・ツー・エンドの情報抽出の大幅な改善を観察する。
  論文  参考訳（メタデータ） (2021-06-03T03:00:12Z)
• Are Neural Language Models Good Plagiarists? A Benchmark for Neural Paraphrase Detection [5.847824494580938]
  トランスフォーマーアーキテクチャに基づく最近の言語モデルを用いたパラフレーズ記事からなるベンチマークを提案する。 我々の貢献は、パラフレーズ検出システムに関する将来的な研究を後押しし、大量の原文およびパラフレーズ文書のコレクションを提供する。
  論文  参考訳（メタデータ） (2021-03-23T11:01:35Z)
• Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
  テキストのディープフェイク検出のためのグラフベースモデルを提案する。 我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。 本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
  論文  参考訳（メタデータ） (2020-10-15T02:35:31Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• SPECTER: Document-level Representation Learning using Citation-informed Transformers [51.048515757909215]
  SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。 SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
  論文  参考訳（メタデータ） (2020-04-15T16:05:51Z)
• Explaining Relationships Between Scientific Documents [55.23390424044378]
  本稿では,2つの学術文書間の関係を自然言語テキストを用いて記述する課題に対処する。 本稿では154K文書から622Kサンプルのデータセットを作成する。
  論文  参考訳（メタデータ） (2020-02-02T03:54:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。