論文の概要: RoR: Read-over-Read for Long Document Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2109.04780v1
• Date: Fri, 10 Sep 2021 10:55:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 20:04:20.495224
• Title: RoR: Read-over-Read for Long Document Machine Reading Comprehension
• Title（参考訳）: RoR: 長いドキュメントマシンを読むための読み書き
• Authors: Jing Zhao, Junwei Bao, Yifan Wang, Yongwei Zhou, Youzheng Wu, Xiaodong He, and Bowen Zhou
• Abstract要約: RoRは、読み出しフィールドをチャンクからドキュメントに拡張する読み出し方式である。 RoRは応募時にQuACのリーダーボードで1位にランクインした。
• 参考スコア（独自算出の注目度）: 34.46550541953348
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transformer-based pre-trained models, such as BERT, have achieved remarkable results on machine reading comprehension. However, due to the constraint of encoding length (e.g., 512 WordPiece tokens), a long document is usually split into multiple chunks that are independently read. It results in the reading field being limited to individual chunks without information collaboration for long document machine reading comprehension. To address this problem, we propose RoR, a read-over-read method, which expands the reading field from chunk to document. Specifically, RoR includes a chunk reader and a document reader. The former first predicts a set of regional answers for each chunk, which are then compacted into a highly-condensed version of the original document, guaranteeing to be encoded once. The latter further predicts the global answers from this condensed document. Eventually, a voting strategy is utilized to aggregate and rerank the regional and global answers for final prediction. Extensive experiments on two benchmarks QuAC and TriviaQA demonstrate the effectiveness of RoR for long document reading. Notably, RoR ranks 1st place on the QuAC leaderboard (https://quac.ai/) at the time of submission (May 17th, 2021).
• Abstract（参考訳）: BERTのようなトランスフォーマーベースの事前学習モデルは、機械読解において顕著な成果を上げている。 しかし、エンコーディングの長さ(例えば512ワードピーストークン)の制約のため、長い文書は通常、独立に読み取られる複数のチャンクに分割される。 その結果、長い文書機械読解のための情報協調なしに、読み出し領域は個々のチャンクに限られる。 そこで本研究では,読み出しフィールドをチャンクからドキュメントに拡張する読み出し読み出し手法であるRoRを提案する。 特に、RoRはチャンクリーダーとドキュメントリーダーを含む。 前者はまず各チャンクの局所的な回答のセットを予測し、それを圧縮して元のドキュメントの高密度バージョンにし、一度エンコードすることを保証します。 後者は、この凝縮文書のグローバルな回答をさらに予測する。 最終的に、最終予測のために地域と世界的な回答を集計し、再集計するために投票戦略が使用される。 QuACとTriviaQAの2つのベンチマークによる大規模な実験は、長い文書読解におけるRoRの有効性を示した。 特にRoRは、提出された時点でQuACのリーダーボード(https://quac.ai/)で1位(2021年5月17日)。

関連論文リスト

• LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
  本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。 提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
  論文  参考訳（メタデータ） (2024-10-12T03:13:44Z)
• LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs [48.8849121506693]
  従来のRAGフレームワークでは、基本的な検索ユニットは通常短い。 不均衡なヘビーレトリバーとライトのリーダー設計は、準最適性能をもたらす可能性がある。 ロングレトリバーとロングリーダで構成される新しいフレームワークであるLongRAGを提案する。
  論文  参考訳（メタデータ） (2024-06-21T17:23:21Z)
• DocParser: End-to-end OCR-free Information Extraction from Visually Rich Documents [0.0]
  OCRフリーエンド・ツー・エンド情報抽出モデルDocrimi 最近のOCRフリーエンド・ツー・エンド情報抽出モデルDocrimi
  論文  参考訳（メタデータ） (2023-04-24T22:48:29Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Long Document Re-ranking with Modular Re-ranker [15.935423344245363]
  BERTのようなディープ言語モデルに基づくニューラルリランカにとって、長いドキュメント再ランクは難しい問題だった。 本稿では,アテンション操作とモジュラートランスフォーマー・リランカ・フレームワークを活用した,完全な問合せ-文書間相互作用のモデル化を提案する。
  論文  参考訳（メタデータ） (2022-05-09T13:44:02Z)
• Multi Document Reading Comprehension [0.0]
  読み込み(英語: Reading, RC)とは、ある節または一組の節から質問に答えるタスクである。 自然言語処理(NLP)の分野での最近の試行と実験により、機械が通過中のテキストを処理できることが証明された。
  論文  参考訳（メタデータ） (2022-01-05T16:54:48Z)
• LayoutReader: Pre-training of Text and Layout for Reading Order Detection [46.79387840664033]
  読み出し順序検出は、視覚的に豊富な文書を理解するための基盤となる。 ReadingBankは50万のドキュメントイメージの読み込み順序、テキスト、レイアウト情報を含むベンチマークデータセットである。 この最初の大規模なデータセットは、読み取り順序検出のためのディープニューラルネットワークのパワーを解放する。
  論文  参考訳（メタデータ） (2021-08-26T05:52:32Z)
• ReadTwice: Reading Very Large Documents with Memories [19.45538971299312]
  本稿では,従来手法の長範囲依存をトランスフォーマーでモデル化する手法であるReadTwiceを提案する。 主なアイデアは、テキストを小さなセグメントで並列に読み、各セグメントを1つのメモリテーブルに要約して、テキストの2番目の読み出しに使用することである。 この手法は、いくつかの質問応答(QA)データセットで匹敵するサイズのモデルよりも優れていることを示し、挑戦的なNarrativeQAタスクで新しい状態を設定します。
  論文  参考訳（メタデータ） (2021-05-10T10:13:09Z)
• Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension [59.80926970481975]
  機械読解(MRC)を長文で研究する。 モデルは長い文書と質問を入力として取り、回答として文書からテキストを抽出する。 我々は、モデルに強化学習を通じてより柔軟な方法でチャンクを学習させることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T18:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。