論文の概要: Recurrent Chunking Mechanisms for Long-Text Machine Reading
Comprehension
- arxiv url: http://arxiv.org/abs/2005.08056v2
- Date: Tue, 19 May 2020 14:29:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 12:49:11.837492
- Title: Recurrent Chunking Mechanisms for Long-Text Machine Reading
Comprehension
- Title(参考訳): 長文機械読解における繰り返しチャンキング機構
- Authors: Hongyu Gong, Yelong Shen, Dian Yu, Jianshu Chen, Dong Yu
- Abstract要約: 機械読解(MRC)を長文で研究する。
モデルは長い文書と質問を入力として取り、回答として文書からテキストを抽出する。
我々は、モデルに強化学習を通じてより柔軟な方法でチャンクを学習させることを提案する。
- 参考スコア(独自算出の注目度): 59.80926970481975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study machine reading comprehension (MRC) on long texts,
where a model takes as inputs a lengthy document and a question and then
extracts a text span from the document as an answer. State-of-the-art models
tend to use a pretrained transformer model (e.g., BERT) to encode the joint
contextual information of document and question. However, these
transformer-based models can only take a fixed-length (e.g., 512) text as its
input. To deal with even longer text inputs, previous approaches usually chunk
them into equally-spaced segments and predict answers based on each segment
independently without considering the information from other segments. As a
result, they may form segments that fail to cover the correct answer span or
retain insufficient contexts around it, which significantly degrades the
performance. Moreover, they are less capable of answering questions that need
cross-segment information.
We propose to let a model learn to chunk in a more flexible way via
reinforcement learning: a model can decide the next segment that it wants to
process in either direction. We also employ recurrent mechanisms to enable
information to flow across segments. Experiments on three MRC datasets -- CoQA,
QuAC, and TriviaQA -- demonstrate the effectiveness of our proposed recurrent
chunking mechanisms: we can obtain segments that are more likely to contain
complete answers and at the same time provide sufficient contexts around the
ground truth answers for better predictions.
- Abstract(参考訳): 本稿では,長文の機械読解(MRC)について検討する。そこでは,長文と質問の入力としてモデルを取り上げ,回答として文書からテキストを抽出する。
最先端モデルは、文書と質問の共用コンテキスト情報をエンコードするために、事前訓練されたトランスフォーマーモデル(例えばBERT)を使用する傾向がある。
しかし、これらのトランスフォーマーベースのモデルは、入力として固定長(例えば512)テキストだけを取ることができる。
さらに長いテキスト入力を扱うために、従来のアプローチは通常、それらを等間隔のセグメントに分類し、他のセグメントからの情報を考慮せずに各セグメントに基づいて回答を予測する。
その結果、正しい回答範囲をカバーできないセグメントを形成するか、周囲のコンテキストが不十分でパフォーマンスが著しく低下する可能性がある。
さらに、クロスセグメント情報を必要とする質問に答える能力も低い。
私たちは、強化学習を通じてモデルがより柔軟な方法でチャンクすることを学べるようにすることを提案します。
また、セグメントをまたいで情報を流すための繰り返しメカニズムも採用しています。
3つのMCCデータセット(CoQA、QuAC、TriviaQA)の実験では、提案した繰り返しチャンキングメカニズムの有効性が実証されている。
関連論文リスト
- Adapting Language Models to Compress Contexts [71.98287002918941]
トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。
本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。
最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
論文 参考訳(メタデータ) (2023-05-24T06:42:44Z) - Toward Unifying Text Segmentation and Long Document Summarization [31.084738269628748]
文章・音声文書の抽出要約において,部分分割が果たす役割について検討する。
本手法は,要約とセグメンテーションを同時に行うことによって,頑健な文表現を学習する。
以上の結果から,本モデルは,公開ベンチマーク上での最先端性能を達成できるだけでなく,異種間転送性も向上できることが示唆された。
論文 参考訳(メタデータ) (2022-10-28T22:07:10Z) - HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text
Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。
単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文 参考訳(メタデータ) (2021-10-12T22:42:31Z) - Automated News Summarization Using Transformers [4.932130498861987]
我々は,テキスト要約のためのトランスフォーマーアーキテクチャに基づく事前学習モデルについて,包括的に比較する。
分析と比較のために,要約や人為的な要約に使用できるテキストデータを含むBBCニュースデータセットを用いた。
論文 参考訳(メタデータ) (2021-04-23T04:22:33Z) - ERNIE-DOC: The Retrospective Long-Document Modeling Transformer [24.426571160930635]
Recurrence Transformersに基づく文書レベルの言語プリトレーニングモデルであるERNIE-DOCを提案する。
ふりかえりフィード機構とリカレンスメカニズムの強化という2つのよく設計されたテクニックにより、ELNIE-DOCははるかに長いコンテキスト長を実現できます。
英語と中国語の文書レベルのタスクについて様々な実験を行った。
論文 参考訳(メタデータ) (2020-12-31T16:12:48Z) - Tradeoffs in Sentence Selection Techniques for Open-Domain Question
Answering [54.541952928070344]
文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。
非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
論文 参考訳(メタデータ) (2020-09-18T23:39:15Z) - Document Modeling with Graph Attention Networks for Multi-grained
Machine Reading Comprehension [127.3341842928421]
Natural Questionsは、新しい挑戦的な機械読解ベンチマークである。
解答は2つあり、長解(典型的には1段落)と短解(長解の内にある1つ以上の実体)である。
既存の方法は、これらの2つのサブタスクをトレーニング中に個別に扱い、依存関係を無視します。
本稿では,文書を階層的にモデル化する多層機械読解フレームワークを提案する。
論文 参考訳(メタデータ) (2020-05-12T14:20:09Z) - Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical
Encoder for Long-Form Document Matching [28.190001111358438]
長文文書マッチングのためのシームズ多層変換器を用いたSMITHを提案する。
我々のモデルには、より長いテキスト入力に自己注意モデルを適用するためのいくつかの革新が含まれている。
われわれはウィキペディアベースのベンチマークデータセット、コード、トレーニング済みのチェックポイントをオープンソース化し、長文文書マッチングの今後の研究を加速する。
論文 参考訳(メタデータ) (2020-04-26T07:04:08Z) - Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。
不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。
本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
論文 参考訳(メタデータ) (2020-01-27T11:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。