論文の概要: Few-shot Reranking for Multi-hop QA via Language Model Prompting

• arxiv url: http://arxiv.org/abs/2205.12650v3
• Date: Sun, 2 Jul 2023 18:32:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-04 16:06:26.400172
• Title: Few-shot Reranking for Multi-hop QA via Language Model Prompting
• Title（参考訳）: 言語モデルによるマルチホップQAの評価
• Authors: Muhammad Khalifa, Lajanugen Logeswaran, Moontae Lee, Honglak Lee, Lu Wang
• Abstract要約: オープンドメイン質問を用いたマルチホップQAにおける数点のリランクについて検討した。 本稿では,マルチホップパスの再ランク付けを促す大規模言語モデルに依存するPromptRankを提案する。 PromptRankは、HotpotQA上で128のトレーニング例で強力な検索性能を得る。
• 参考スコア（独自算出の注目度）: 56.454088569241534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study few-shot reranking for multi-hop QA with open-domain questions. To alleviate the need for a large number of labeled question-document pairs for retriever training, we propose PromptRank, which relies on large language models prompting for multi-hop path reranking. PromptRank first constructs an instruction-based prompt that includes a candidate document path and then computes the relevance score between a given question and the path based on the conditional likelihood of the question given the path prompt according to a language model. PromptRank yields strong retrieval performance on HotpotQA with only 128 training examples compared to state-of-the-art methods trained on thousands of examples -- 73.6 recall@10 by PromptRank vs. 77.8 by PathRetriever and 77.5 by multi-hop dense retrieval. Code available at https://github.com/mukhal/PromptRank
• Abstract（参考訳）: オープンドメイン質問を用いたマルチホップQAにおける数点のリランクについて検討した。 検索学習において大量のラベル付き質問文書ペアの必要性を軽減するため,マルチホップパスの再ランク付けを促す大規模言語モデルに依存するPromptRankを提案する。 PromptRankはまず、候補文書パスを含む命令ベースのプロンプトを構築し、その後、言語モデルに従って与えられたパスプロンプトの条件付き確率に基づいて、与えられた質問とパスの間の関連スコアを算出する。 プロンプトランクは、何千もの例で訓練された最先端のリコール@10とpathretrieverによる77.8、マルチホップの密検索による77.5に比べて、128のトレーニング例しか持たないhotpotqaで強力な検索性能を発揮する。 コードはhttps://github.com/mukhal/promptrankで利用可能

関連論文リスト

• Multimodal Reranking for Knowledge-Intensive Visual Question Answering [77.24401833951096]
  回答生成のための知識候補のランク付け品質を向上させるためのマルチモーダル・リランカを提案する。 OK-VQAとA-OKVQAの実験は、遠隔監視からのマルチモーダルリランカーが一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2024-07-17T02:58:52Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversational Search [25.16282868262589]
  RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化するように設計されている。 我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。 このモデルにより,最近の2つの対話型検索ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-02-19T04:41:31Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Few-shot Multi-hop Question Answering over Knowledge Base [0.0]
  本稿では,事前学習言語モデルと人工訓練サンプル構築戦略を備えた効率的なパイプライン手法を提案する。 CCKS 2019 Complex Question Answering via Knowledge Base Task上で、テストデータセットのF1スコアを62.55%達成しました。
  論文  参考訳（メタデータ） (2021-12-14T00:56:54Z)
• Memory Augmented Sequential Paragraph Retrieval for Multi-hop Question Answering [32.69969157825044]
  本稿では,段落を逐次データとしてモデル化し,マルチホップ情報検索をシーケンスラベリングタスクの一種とみなす新しいアーキテクチャを提案する。 本手法は,公開テキストマルチホップQAデータセットであるHotpotQAのフルwikiとイントラクタサブタスクの両方で評価する。
  論文  参考訳（メタデータ） (2021-02-07T08:15:51Z)
• Multi-hop Question Generation with Graph Convolutional Network [58.31752179830959]
  マルチホップ質問生成(Multi-hop Question Generation, QG)は,異なる段落から散在する複数の証拠を集約・推論することで,回答に関連する質問を生成することを目的とする。 複数のホップでコンテキストエンコーディングを行うMulQG(Multi-Hop volution Fusion Network for Question Generation)を提案する。 提案モデルでは,高い完全性を有する流動的な質問を生成することができ,マルチホップ評価において,最強のベースラインを20.8%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-19T06:15:36Z)
• Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
  オープンドメインの問に答える統合QAフレームワークを提案する。 提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
  論文  参考訳（メタデータ） (2020-09-16T04:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。