論文の概要: AttenWalker: Unsupervised Long-Document Question Answering via Attention-based Graph Walking

• arxiv url: http://arxiv.org/abs/2305.02235v1
• Date: Wed, 3 May 2023 16:16:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 14:08:04.687279
• Title: AttenWalker: Unsupervised Long-Document Question Answering via Attention-based Graph Walking
• Title（参考訳）: AttenWalker: 注意に基づくグラフウォーキングによる教師なし長文質問回答
• Authors: Yuxiang Nie, Heyan Huang, Wei Wei, Xian-Ling Mao
• Abstract要約: 我々は、教師なし長文書質問応答(ULQA)という新しいタスクを提案する。 さらに,AttenWalkerを提案する。AttenWalkerは,長距離依存で回答を集約・生成する,教師なしの手法である。 AttenWalkerは、QasperとNarrativeQAで以前の方法より優れている。
• 参考スコア（独自算出の注目度）: 43.106911383391406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Annotating long-document question answering (long-document QA) pairs is time-consuming and expensive. To alleviate the problem, it might be possible to generate long-document QA pairs via unsupervised question answering (UQA) methods. However, existing UQA tasks are based on short documents, and can hardly incorporate long-range information. To tackle the problem, we propose a new task, named unsupervised long-document question answering (ULQA), aiming to generate high-quality long-document QA instances in an unsupervised manner. Besides, we propose AttenWalker, a novel unsupervised method to aggregate and generate answers with long-range dependency so as to construct long-document QA pairs. Specifically, AttenWalker is composed of three modules, i.e., span collector, span linker and answer aggregator. Firstly, the span collector takes advantage of constituent parsing and reconstruction loss to select informative candidate spans for constructing answers. Secondly, by going through the attention graph of a pre-trained long-document model, potentially interrelated text spans (that might be far apart) could be linked together via an attention-walking algorithm. Thirdly, in the answer aggregator, linked spans are aggregated into the final answer via the mask-filling ability of a pre-trained model. Extensive experiments show that AttenWalker outperforms previous methods on Qasper and NarrativeQA. In addition, AttenWalker also shows strong performance in the few-shot learning setting.
• Abstract（参考訳）: 注釈付き長期文書質問応答(長期文書QA)ペアは、時間と費用がかかる。 この問題を緩和するために、教師なし質問応答(UQA)手法により、長い文書QAペアを生成することができる。 しかし、既存のUQAタスクは短い文書に基づいており、長距離情報をほとんど組み込むことができない。 この問題に対処するために,教師なし長文書質問応答(ULQA)と呼ばれる新しいタスクを提案し,教師なしの方法で高品質の長文書QAインスタンスを生成する。 さらに,長い文書のQAペアを構築するために,長距離依存で回答を集約・生成する新しい教師なし手法であるAttenWalkerを提案する。 具体的には、AttenWalkerはスパンコレクタ、スパンリンカ、応答アグリゲータという3つのモジュールで構成されている。 まず、スパンコレクタは構成構文解析と再構成損失を利用して、回答を構成するための有用な候補スパンを選択する。 第二に、事前訓練されたロングドキュメントモデルのアテンショングラフを通すことによって、相互に関連のあるテキストスパン(遠く離れているかもしれない)をアテンションウォークアルゴリズムでリンクすることができる。 第3に、回答アグリゲータでは、事前学習されたモデルのマスク充填能力により、リンクされたスパンを最終回答に集約する。 大規模な実験により、AttenWalkerはQasperとNarrativeQAで過去の方法より優れていることが示された。 さらに、AttenWalkerは、数ショットの学習環境でも強力なパフォーマンスを示している。

関連論文リスト

• Long-form Question Answering: An Iterative Planning-Retrieval-Generation Approach [28.849548176802262]
  長文質問応答(LFQA)は,段落の形で詳細な回答を生成するため,課題となる。 本稿では,反復計画,検索,生成を伴うLFQAモデルを提案する。 我々のモデルはLFQAタスクの様々なテキストおよび実測値の最先端モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T21:22:27Z)
• Locate before Answering: Answer Guided Question Localization for Video Question Answering [70.38700123685143]
  LocAnsは質問ロケータと回答予測器をエンドツーエンドモデルに統合する。 最新の2つのビデオQAデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-05T08:19:16Z)
• New Methods & Metrics for LFQA tasks [0.0]
  長い形式の質問応答タスクでは、クエリに関連する文書を検索し、それを使用して段落長の回答を作成する必要がある。 この作業では、トレイン/バリデーション/テストのデータセットのオーバーラップ、自動メトリクスの欠如、検索したドキュメントに“接地”されていない回答の生成に対処する。
  論文  参考訳（メタデータ） (2021-12-26T18:38:05Z)
• Relation-Guided Pre-Training for Open-Domain Question Answering [67.86958978322188]
  複雑なオープンドメイン問題を解決するためのRGPT-QA(Relation-Guided Pre-Training)フレームワークを提案する。 RGPT-QAは, 自然質問, TriviaQA, WebQuestionsにおいて, Exact Matchの精度が2.2%, 2.4%, 6.3%向上したことを示す。
  論文  参考訳（メタデータ） (2021-09-21T17:59:31Z)
• OneStop QAMaker: Extract Question-Answer Pairs from Text in a One-Stop Approach [11.057028572260064]
  本論文では,文書からQAペアを生成するOneStopというモデルを提案する。 具体的には、質問と対応する回答を同時に抽出する。 OneStopは、複雑なQA生成タスクを解決するために1つのモデルしか必要としないため、産業シナリオでトレーニングやデプロイを行うのがずっと効率的です。
  論文  参考訳（メタデータ） (2021-02-24T08:45:00Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)
• Towards Automatic Generation of Questions from Long Answers [11.198653485869935]
  本稿では,従来のAQGシステムの性能評価のための新しい評価ベンチマークを提案する。 既存のAQG法の性能は,回答の長さが大きくなるにつれて著しく低下することを示した。 トランスフォーマーに基づく手法は, 従来のAQG法よりも, 自己評価や人的評価の点で優れていた。
  論文  参考訳（メタデータ） (2020-04-10T16:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。