論文の概要: Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering

• arxiv url: http://arxiv.org/abs/2305.15387v1
• Date: Wed, 24 May 2023 17:48:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 13:53:46.908890
• Title: Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering
• Title（参考訳）: Peek Across: クロスドキュメント質問回答によるマルチドキュメントモデリングの改善
• Authors: Avi Caciularu, Matthew E. Peters, Jacob Goldberger, Ido Dagan, Arman Cohan
• Abstract要約: 我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
• 参考スコア（独自算出の注目度）: 49.85790367128085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of multi-document pre-training objectives into language models has resulted in remarkable improvements in multi-document downstream tasks. In this work, we propose extending this idea by pre-training a generic multi-document model from a novel cross-document question answering pre-training objective. To that end, given a set (or cluster) of topically-related documents, we systematically generate semantically-oriented questions from a salient sentence in one document and challenge the model, during pre-training, to answer these questions while "peeking" into other topically-related documents. In a similar manner, the model is also challenged to recover the sentence from which the question was generated, again while leveraging cross-document information. This novel multi-document QA formulation directs the model to better recover cross-text informational relations, and introduces a natural augmentation that artificially increases the pre-training data. Further, unlike prior multi-document models that focus on either classification or summarization tasks, our pre-training objective formulation enables the model to perform tasks that involve both short text generation (e.g., QA) and long text generation (e.g., summarization). Following this scheme, we pre-train our model -- termed QAmden -- and evaluate its performance across several multi-document tasks, including multi-document QA, summarization, and query-focused summarization, yielding improvements of up to 7%, and significantly outperforms zero-shot GPT-3.5 and GPT-4.
• Abstract（参考訳）: マルチドキュメント事前学習目標を言語モデルに統合することで、マルチドキュメントダウンストリームタスクが著しく改善された。 本研究では,事前学習目標に答える新たなクロスドキュメント質問から汎用マルチドキュメントモデルを事前学習することにより,この概念を拡張することを提案する。 そのため、局所関係文書の集合(あるいはクラスタ)が与えられた場合、体系的に1つの文書に有意な文から意味的指向の質問を生成し、事前学習中にモデルに挑戦し、他の局所関連文書に「覗き込み」しながらこれらの質問に答える。 同様に、このモデルは、またクロスドキュメントの情報を利用して、質問が生成された文を復元するためにも挑戦される。 この新しいマルチドキュメントqa定式化は、モデルにクロステキスト情報関係の回復を指示し、人工的に事前学習データを増加させる自然な拡張を導入する。 さらに、分類タスクや要約タスクにフォーカスする従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成(例えば、QA)と長いテキスト生成(例えば、要約)の両方を含むタスクを実行できる。 このスキームの後、我々はQAmdenと呼ばれるモデルを事前訓練し、マルチドキュメントQA、要約、クエリ中心の要約を含む複数のマルチドキュメントタスクのパフォーマンスを評価し、最大7%の改善を実現し、ゼロショット GPT-3.5 と GPT-4 を著しく上回ります。

関連論文リスト

• On Task-personalized Multimodal Few-shot Learning for Visually-rich Document Entity Retrieval [59.25292920967197]
  VDER(Few-shot document entity search)は、NLPアプリケーションにおいて重要なトピックである。 FewVEXは、エンティティレベルの少数ショットVDERの分野における将来の研究を促進するための、新しいデータセットである。 本稿では,タスクパーソナライズを効果的に実現することを中心に,タスク認識型メタラーニングベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-01T17:51:43Z)
• Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
  本稿では,反復的な検索・生成協調フレームワークを提案する。 シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
  論文  参考訳（メタデータ） (2023-10-08T12:50:57Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Extending Multi-Text Sentence Fusion Resources via Pyramid Annotations [12.394777121890925]
  本稿では、過去のデータセット作成の取り組みを再考し、大幅に拡張する。 拡張版では、複数のドキュメントタスクにもっと代表的なテキストを使用し、より大きく、より多様なトレーニングセットを提供しています。
  論文  参考訳（メタデータ） (2021-10-09T09:15:05Z)
• Sequential Cross-Document Coreference Resolution [14.099694053823765]
  クロスドキュメントのコリファレンス解決は、マルチドキュメント分析タスクへの関心が高まる上で重要である。 コアファレンス分解能の効率的なシーケンシャル予測パラダイムを文書間設定に拡張する新しいモデルを提案する。 私たちのモデルは、参照をクラスタ表現にインクリメンタルに合成し、参照とすでに構築されたクラスタ間のリンクを予測する。
  論文  参考訳（メタデータ） (2021-04-17T00:46:57Z)
• Cross-Document Language Modeling [28.34202232940097]
  クロスドキュメント言語モデル(CD-LM)はマルチドキュメントNLPタスクのマスキング言語モデリングを改善する。 私たちは、CD-LMが複数のテキストタスクの最新の結果を設定することを示しています。
  論文  参考訳（メタデータ） (2021-01-02T09:01:39Z)
• WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization [16.048329028104643]
  Query Focused Multi-Document Summarization (QF-MDS)タスクでは、ドキュメントのセットとクエリが与えられ、そこでこれらのドキュメントから要約を生成する。 このタスクの大きな課題のひとつは、ラベル付きトレーニングデータセットの可用性の欠如である。 本稿では,遠隔指導による弱教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T02:02:55Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。