論文の概要: LEPUS: Prompt-based Unsupervised Multi-hop Reranking for Open-domain QA

• arxiv url: http://arxiv.org/abs/2205.12650v1
• Date: Wed, 25 May 2022 10:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 01:49:47.613954
• Title: LEPUS: Prompt-based Unsupervised Multi-hop Reranking for Open-domain QA
• Title（参考訳）: LEPUS:オープンドメインQAのためのプロンプトベースの教師なしマルチホップ
• Authors: Muhammad Khalifa, Lajanugen Logeswaran, Moontae Lee, Honglak Lee, Lu Wang
• Abstract要約: オープンドメイン質問を用いたマルチホップQA(MQA)の教師なしマルチホップランキングについて検討する。 提案手法は, Prompt-Utilizing re ranking Strategy (LEPUS) を用いたLargEモデルに依存する。 LEPUSは最先端の手法と競合する性能を持つ。
• 参考スコア（独自算出の注目度）: 56.454088569241534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study unsupervised multi-hop reranking for multi-hop QA (MQA) with open-domain questions. Since MQA requires piecing information from multiple documents, the main challenge thus resides in retrieving and reranking chains of passages that support the reasoning process. Our approach relies on LargE models with Prompt-Utilizing reranking Strategy (LEPUS): we construct an instruction-like prompt based on a candidate document path and compute a relevance score of the path as the probability of generating a given question, according to a pre-trained language model. Though unsupervised, LEPUS yields competitive reranking performance against state-of-the-art methods that are trained on thousands of examples. Adding a small number of samples (e.g., $2$), we demonstrate further performance gain using in-context learning. Finally, we show that when integrated with a reader module, LEPUS can obtain competitive multi-hop QA performance, e.g., outperforming fully-supervised QA systems. Code will be released at https://github.com/mukhal/LEPUS
• Abstract（参考訳）: オープンドメイン質問を用いたマルチホップQA(MQA)の教師なしマルチホップランキングについて検討する。 MQAは複数のドキュメントから情報を取得する必要があるため、主要な課題は推論プロセスをサポートする一連のパスの検索と再配置にある。 事前訓練された言語モデルによれば,提案手法は,候補文書パスに基づいて命令様のプロンプトを構築し,与えられた質問を生成する確率として経路の関連スコアを算出する。 監督されていないが、LEPUSは数千の例でトレーニングされた最先端の手法に対して、競争力のあるリランクパフォーマンスを得る。 少数のサンプル(例:2ドル)を追加すると、コンテキスト内学習によるさらなるパフォーマンス向上が示される。 最後に、リーダモジュールと統合すると、LEPUSは競合するマルチホップQA性能、例えば、完全教師付きQAシステムより優れていることを示す。 コードはhttps://github.com/mukhal/LEPUSでリリースされる。

関連論文リスト

• Multimodal Reranking for Knowledge-Intensive Visual Question Answering [77.24401833951096]
  回答生成のための知識候補のランク付け品質を向上させるためのマルチモーダル・リランカを提案する。 OK-VQAとA-OKVQAの実験は、遠隔監視からのマルチモーダルリランカーが一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2024-07-17T02:58:52Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversational Search [25.16282868262589]
  RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化するように設計されている。 我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。 このモデルにより,最近の2つの対話型検索ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-02-19T04:41:31Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Few-shot Multi-hop Question Answering over Knowledge Base [0.0]
  本稿では,事前学習言語モデルと人工訓練サンプル構築戦略を備えた効率的なパイプライン手法を提案する。 CCKS 2019 Complex Question Answering via Knowledge Base Task上で、テストデータセットのF1スコアを62.55%達成しました。
  論文  参考訳（メタデータ） (2021-12-14T00:56:54Z)
• Memory Augmented Sequential Paragraph Retrieval for Multi-hop Question Answering [32.69969157825044]
  本稿では,段落を逐次データとしてモデル化し,マルチホップ情報検索をシーケンスラベリングタスクの一種とみなす新しいアーキテクチャを提案する。 本手法は,公開テキストマルチホップQAデータセットであるHotpotQAのフルwikiとイントラクタサブタスクの両方で評価する。
  論文  参考訳（メタデータ） (2021-02-07T08:15:51Z)
• Multi-hop Question Generation with Graph Convolutional Network [58.31752179830959]
  マルチホップ質問生成(Multi-hop Question Generation, QG)は,異なる段落から散在する複数の証拠を集約・推論することで,回答に関連する質問を生成することを目的とする。 複数のホップでコンテキストエンコーディングを行うMulQG(Multi-Hop volution Fusion Network for Question Generation)を提案する。 提案モデルでは,高い完全性を有する流動的な質問を生成することができ,マルチホップ評価において,最強のベースラインを20.8%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-19T06:15:36Z)
• Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
  オープンドメインの問に答える統合QAフレームワークを提案する。 提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
  論文  参考訳（メタデータ） (2020-09-16T04:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。