論文の概要: BELLE: A Bi-Level Multi-Agent Reasoning Framework for Multi-Hop Question Answering
- arxiv url: http://arxiv.org/abs/2505.11811v1
- Date: Sat, 17 May 2025 03:43:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.861906
- Title: BELLE: A Bi-Level Multi-Agent Reasoning Framework for Multi-Hop Question Answering
- Title（参考訳）: BELLE:マルチホップ質問応答のための双方向マルチエージェント推論フレームワーク
- Authors: Taolin Zhang, Dongyang Li, Qizhou Chen, Chengyu Wang, Xiaofeng He,
- Abstract要約: マルチホップ質問応答(Multi-hop question answering, QA)は、複数の関連するパスを見つけ、複雑な質問に答えるためにステップバイステップの推論を行う。
マルチホップQAに関するこれまでの研究は、大規模言語モデル(LLM)に基づく異なるモデリングの観点から特定の手法を用いていた。
本稿では,質問型とメソッドの対応性に着目し,マルチホップQAに対処するbi-level muLti-agEnt推論(BELLE)フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 23.40379713863448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-hop question answering (QA) involves finding multiple relevant passages and performing step-by-step reasoning to answer complex questions. Previous works on multi-hop QA employ specific methods from different modeling perspectives based on large language models (LLMs), regardless of the question types. In this paper, we first conduct an in-depth analysis of public multi-hop QA benchmarks, dividing the questions into four types and evaluating five types of cutting-edge methods for multi-hop QA: Chain-of-Thought (CoT), Single-step, Iterative-step, Sub-step, and Adaptive-step. We find that different types of multi-hop questions have varying degrees of sensitivity to different types of methods. Thus, we propose a Bi-levEL muLti-agEnt reasoning (BELLE) framework to address multi-hop QA by specifically focusing on the correspondence between question types and methods, where each type of method is regarded as an ''operator'' by prompting LLMs differently. The first level of BELLE includes multiple agents that debate to obtain an executive plan of combined ''operators'' to address the multi-hop QA task comprehensively. During the debate, in addition to the basic roles of affirmative debater, negative debater, and judge, at the second level, we further leverage fast and slow debaters to monitor whether changes in viewpoints are reasonable. Extensive experiments demonstrate that BELLE significantly outperforms strong baselines in various datasets. Additionally, the model consumption of BELLE is higher cost-effectiveness than that of single models in more complex multi-hop QA scenarios.
- Abstract（参考訳）: マルチホップ質問応答(Multi-hop question answering, QA)は、複数の関連するパスを見つけ、複雑な質問に答えるためにステップバイステップの推論を行う。
従来のマルチホップQAでは,質問の種類に関わらず,大規模言語モデル (LLM) に基づくモデリングの観点から,特定の手法が採用されていた。
本稿では、まず、公開マルチホップQAベンチマークの詳細な分析を行い、質問を4つのタイプに分割し、マルチホップQA(Chain-of-Thought (CoT), Single-step, Iterative-step, Sub-step, Adaptive-step)の5種類の最先端手法を評価する。
異なるタイプのマルチホップ質問が、異なるタイプのメソッドに対して様々な感度を持つことがわかった。
そこで,本研究では,マルチホップQAに対処するbi-level muLti-agEnt推論(BELLE)フレームワークを提案する。
BELLEの第1段階には、マルチホップQAタスクを包括的に対処する統合'オペレータ'のエグゼクティブプランを得るために議論する複数のエージェントが含まれている。
議論の間、肯定的討論者、否定的討論者、および裁判官の基本的な役割に加えて、2段階目では、より速く遅い議論者を活用して、視点の変化が妥当かどうかを監視する。
大規模な実験により、BELLEは様々なデータセットにおいて強いベースラインを著しく上回ることを示した。
さらに、BELLEのモデル消費は、より複雑なマルチホップQAシナリオにおけるシングルモデルよりもコスト効率が高い。
関連論文リスト
- End-to-End Beam Retrieval for Multi-Hop Question Answering [37.13580394608824]
マルチホップ質問応答は、複数の関連するパスを見つけ出し、複雑な質問に答えるためにステップバイステップの推論を行う。
以前のレトリバーは2ホップの質問のためにカスタマイズされ、そのほとんどは異なるホップで個別に訓練された。
マルチホップQAのためのエンドツーエンドのビーム検索フレームワークであるビーム検索について紹介する。
論文 参考訳（メタデータ） (2023-08-17T13:24:14Z) - Performance Prediction for Multi-hop Questions [7.388002745070808]
オープンドメイン型マルチホップ質問の性能を予測するための検索前手法であるmultHPを提案する。
評価の結果,提案モデルが従来のシングルホップQPPモデルよりも優れた性能を示すことが示唆された。
論文 参考訳（メタデータ） (2023-08-12T01:34:41Z) - Understanding and Improving Zero-shot Multi-hop Reasoning in Generative
Question Answering [85.79940770146557]
マルチホップ質問を複数の単一ホップ質問に分解する。
これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。
シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
論文 参考訳（メタデータ） (2022-10-09T11:48:07Z) - Prompt-based Conservation Learning for Multi-hop Question Answering [11.516763652013005]
マルチホップ質問応答には、複雑な質問に答えるために複数の文書を推論する必要がある。
既存のマルチホップQAメソッドの多くは、サブクエストのかなりの部分に答えられません。
マルチホップQAのためのPromptベースの保存学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-14T20:50:46Z) - Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question
Answering [71.49131159045811]
マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。
既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。
そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-22T13:24:25Z) - Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
本稿では,単純な生成手法(PathFid)を提案する。
PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。
実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
論文 参考訳（メタデータ） (2022-05-18T21:57:59Z) - Ask to Understand: Question Generation for Multi-hop Question Answering [11.626390908264872]
マルチホップ質問回答 (Multi-hop Question Answering, QA) は、複数の文書から散乱した手がかりを見つけ、推論することで複雑な質問に答えることを要求する。
質問生成(QG)の観点から,マルチホップQAを補完する新しい手法を提案する。
論文 参考訳（メタデータ） (2022-03-17T04:02:29Z) - QA4QG: Using Question Answering to Constrain Multi-Hop Question
Generation [54.136509061542775]
マルチホップ質問生成(MQG)は、入力パスの複数の情報に対する推論を必要とする複雑な質問を生成することを目的としている。
MQGのためのQA強化BARTベースのフレームワークであるQA4QGを提案する。
HotpotQAデータセットの結果は、QA4QGがすべての最先端モデルより優れていることを示している。
論文 参考訳（メタデータ） (2022-02-14T08:16:47Z) - Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。
提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
論文 参考訳（メタデータ） (2021-04-18T07:00:48Z) - Reinforced Multi-task Approach for Multi-hop Question Generation [47.15108724294234]
我々は,その文脈における支援事実に基づいて,関連する質問を生成することを目的としたマルチホップ質問生成を取り上げている。
我々は,質問生成を導くために,回答認識支援事実予測の補助タスクを備えたマルチタスク学習を採用する。
マルチホップ質問応答データセットHotPotQAの実験を通して,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2020-04-05T10:16:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。