論文の概要: Weakly Supervised Pre-Training for Multi-Hop Retriever

• arxiv url: http://arxiv.org/abs/2106.09983v1
• Date: Fri, 18 Jun 2021 08:06:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:09:37.948504
• Title: Weakly Supervised Pre-Training for Multi-Hop Retriever
• Title（参考訳）: マルチホップレトリバーの微妙な事前訓練
• Authors: Yeon Seonwoo, Sang-Woo Lee, Ji-Hoon Kim, Jung-Woo Ha, Alice Oh
• Abstract要約: 本研究では,人的努力を伴わない,弱教師付きマルチホップレトリバーの事前学習手法を提案する。 提案手法は,1)複雑な質問のベクトル表現を生成するための事前学習タスク,2)厳密なエンコーダに基づく事前学習モデル構造として,質問とサブクエストのネスト構造を生成するスケーラブルなデータ生成手法を含む。
• 参考スコア（独自算出の注目度）: 23.79574380039197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-hop QA, answering complex questions entails iterative document retrieval for finding the missing entity of the question. The main steps of this process are sub-question detection, document retrieval for the sub-question, and generation of a new query for the final document retrieval. However, building a dataset that contains complex questions with sub-questions and their corresponding documents requires costly human annotation. To address the issue, we propose a new method for weakly supervised multi-hop retriever pre-training without human efforts. Our method includes 1) a pre-training task for generating vector representations of complex questions, 2) a scalable data generation method that produces the nested structure of question and sub-question as weak supervision for pre-training, and 3) a pre-training model structure based on dense encoders. We conduct experiments to compare the performance of our pre-trained retriever with several state-of-the-art models on end-to-end multi-hop QA as well as document retrieval. The experimental results show that our pre-trained retriever is effective and also robust on limited data and computational resources.
• Abstract（参考訳）: マルチホップQAでは、複雑な質問に答えるには、質問の欠落した実体を見つけるために反復的な文書検索が必要である。 このプロセスの主なステップは、サブクエスト検出、サブクエストのためのドキュメント検索、最終文書検索のための新しいクエリの生成である。 しかし、サブクエストとそれに対応するドキュメントを含む複雑な質問を含むデータセットを構築するには、コストのかかる人的アノテーションが必要である。 そこで本研究では,人間の努力を伴わずに,弱い教師付きマルチホップレトリバーを事前学習する新しい手法を提案する。 本手法は,1)複雑な質問のベクトル表現を生成する事前学習タスク,2)事前学習の弱い監督として質問と下位質問の入れ子構造を生成するスケーラブルなデータ生成手法,3)高密度エンコーダに基づく事前学習モデル構造を含む。 我々は,事前学習した検索器の性能を,エンドツーエンドのマルチホップQA上での最先端モデルと比較し,文書検索を行う。 実験結果は,事前学習したレトリバーが有効であり,限られたデータや計算資源でも頑健であることを示す。

関連論文リスト

• Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering [45.82437926569949]
  マルチホップ質問回答タスクは、大きな言語モデルにとって大きな課題となる。 マルチホップ問題の解法として,ジェネレーションセブングラウンド(GenGround)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-21T06:26:38Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• Retrieval as Attention: End-to-end Learning of Retrieval and Reading within a Single Transformer [80.50327229467993]
  学習した1つのモデルが競合検索とQA性能の両方を達成可能であることを示す。 エンドツーエンド適応は、教師なし設定と教師なし設定の両方において、ドメイン外のデータセットのパフォーマンスを大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-12-05T04:51:21Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
  ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。 そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
  論文  参考訳（メタデータ） (2022-06-21T18:16:31Z)
• End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering [36.80395759543162]
  本稿では,検索拡張されたオープンドメイン質問応答システムに対するエンドツーエンドの差別化学習手法を提案する。 我々は,検索決定を関連文書の集合よりも遅延変数としてモデル化する。 提案手法は,一致点の精度を2～3%向上させる。
  論文  参考訳（メタデータ） (2021-06-09T19:25:37Z)
• Distilling Knowledge from Reader to Retriever for Question Answering [16.942581590186343]
  我々は,知識蒸留に触発された下流タスクのレトリバーモデルを学ぶ手法を提案する。 質問応答の方法を評価し,最新の結果を得た。
  論文  参考訳（メタデータ） (2020-12-08T17:36:34Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。