論文の概要: Performance Prediction for Multi-hop Questions

• arxiv url: http://arxiv.org/abs/2308.06431v1
• Date: Sat, 12 Aug 2023 01:34:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 17:21:24.398417
• Title: Performance Prediction for Multi-hop Questions
• Title（参考訳）: マルチホップ質問のパフォーマンス予測
• Authors: Mohammadreza Samadi, Davood Rafiei
• Abstract要約: オープンドメイン型マルチホップ質問の性能を予測するための検索前手法であるmultHPを提案する。 評価の結果,提案モデルが従来のシングルホップQPPモデルよりも優れた性能を示すことが示唆された。
• 参考スコア（独自算出の注目度）: 7.388002745070808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of Query Performance Prediction (QPP) for open-domain multi-hop Question Answering (QA), where the task is to estimate the difficulty of evaluating a multi-hop question over a corpus. Despite the extensive research on predicting the performance of ad-hoc and QA retrieval models, there has been a lack of study on the estimation of the difficulty of multi-hop questions. The problem is challenging due to the multi-step nature of the retrieval process, potential dependency of the steps and the reasoning involved. To tackle this challenge, we propose multHP, a novel pre-retrieval method for predicting the performance of open-domain multi-hop questions. Our extensive evaluation on the largest multi-hop QA dataset using several modern QA systems shows that the proposed model is a strong predictor of the performance, outperforming traditional single-hop QPP models. Additionally, we demonstrate that our approach can be effectively used to optimize the parameters of QA systems, such as the number of documents to be retrieved, resulting in improved overall retrieval performance.
• Abstract（参考訳）: オープンドメイン型マルチホップ質問回答(QA)におけるクエリ性能予測(QPP)の問題について検討し,コーパス上でのマルチホップ質問の評価の難しさを推定する。 アドホックおよびqa検索モデルの性能予測に関する広範な研究にもかかわらず、マルチホップ質問の難易度の推定に関する研究が不足している。 この問題は,検索過程の多段階性,ステップの潜在的依存性,関連する推論などにより困難である。 この課題に対処するため,オープンドメイン型マルチホップ質問の性能予測のための検索前手法であるmultHPを提案する。 いくつかの最新のQAシステムを用いた最大マルチホップQAデータセットに対する広範な評価は、提案モデルが従来のシングルホップQPPモデルよりも優れた性能予測因子であることを示している。 さらに,本手法は,検索すべき文書数など,qaシステムのパラメータを最適化するために効果的に使用できることを示す。

関連論文リスト

• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• DEXTER: A Benchmark for open-domain Complex Question Answering using LLMs [3.24692739098077]
  オープンドメイン複合質問回答 (QA) は証拠検索と推論において難しい課題である。 我々は、オープンドメイン設定で、最先端の訓練済み高密度・スパース検索モデルを評価する。 BM25のような遅延相互作用モデルや驚くほど語彙的モデルは、事前訓練された高密度検索モデルと比較してよく機能する。
  論文  参考訳（メタデータ） (2024-06-24T22:09:50Z)
• End-to-End Beam Retrieval for Multi-Hop Question Answering [37.13580394608824]
  マルチホップ質問応答は、複数の関連するパスを見つけ出し、複雑な質問に答えるためにステップバイステップの推論を行う。 以前のレトリバーは2ホップの質問のためにカスタマイズされ、そのほとんどは異なるホップで個別に訓練された。 マルチホップQAのためのエンドツーエンドのビーム検索フレームワークであるビーム検索について紹介する。
  論文  参考訳（メタデータ） (2023-08-17T13:24:14Z)
• Query Performance Prediction: From Ad-hoc to Conversational Search [55.37199498369387]
  クエリパフォーマンス予測(QPP)は、情報検索における中核的なタスクである。 アドホック検索におけるQPPの有効性と有用性について検討した。 その可能性にもかかわらず、会話検索のためのQPPはほとんど研究されていない。
  論文  参考訳（メタデータ） (2023-05-18T12:37:01Z)
• Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering [85.79940770146557]
  マルチホップ質問を複数の単一ホップ質問に分解する。 これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。 シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
  論文  参考訳（メタデータ） (2022-10-09T11:48:07Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• Calibrating Trust of Multi-Hop Question Answering Systems with Decompositional Probes [14.302797773412543]
  マルチホップ質問回答(Multi-hop Question Answering, QA)は、複数の文脈からの情報の正確な集約を必要とするため、難しい課題である。 マルチホップQAにおける最近の研究は、まず質問を単純なシングルホップの質問に分解することで、パフォーマンスを向上できることを示している。 そこで本研究では,分解はQAシステムを探索する有効な方法であり,説明生成への有望なアプローチであることを示す。
  論文  参考訳（メタデータ） (2022-04-16T01:03:36Z)
• Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
  オープンドメインの問に答える統合QAフレームワークを提案する。 提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
  論文  参考訳（メタデータ） (2020-09-16T04:31:38Z)
• Reinforced Multi-task Approach for Multi-hop Question Generation [47.15108724294234]
  我々は,その文脈における支援事実に基づいて,関連する質問を生成することを目的としたマルチホップ質問生成を取り上げている。 我々は,質問生成を導くために,回答認識支援事実予測の補助タスクを備えたマルチタスク学習を採用する。 マルチホップ質問応答データセットHotPotQAの実験を通して,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-04-05T10:16:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。