論文の概要: Dr3: Ask Large Language Models Not to Give Off-Topic Answers in Open Domain Multi-Hop Question Answering

• arxiv url: http://arxiv.org/abs/2403.12393v1
• Date: Tue, 19 Mar 2024 03:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 15:31:57.917446
• Title: Dr3: Ask Large Language Models Not to Give Off-Topic Answers in Open Domain Multi-Hop Question Answering
• Title（参考訳）: Dr3: Open Domain Multi-Hop Question Answeringで、大規模言語モデルにオフ・トピックの回答を与えないように求める
• Authors: Yuan Gao, Yiheng Zhu, Yuanbin Cao, Yinzhi Zhou, Zhen Wu, Yujie Chen, Shenglan Wu, Haoyuan Hu, Xinyu Dai,
• Abstract要約: Open Domain Multi-Hop Question Answering (ODMHQA)は自然言語処理(NLP)において重要な役割を果たす 大規模言語モデル (LLM) は ODMHQA の解法において顕著な性能を示した。 LLMは、ODMHQAを解こうとするときに、オフトピー的な回答を生成する。
• 参考スコア（独自算出の注目度）: 27.72516535251282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open Domain Multi-Hop Question Answering (ODMHQA) plays a crucial role in Natural Language Processing (NLP) by aiming to answer complex questions through multi-step reasoning over retrieved information from external knowledge sources. Recently, Large Language Models (LLMs) have demonstrated remarkable performance in solving ODMHQA owing to their capabilities including planning, reasoning, and utilizing tools. However, LLMs may generate off-topic answers when attempting to solve ODMHQA, namely the generated answers are irrelevant to the original questions. This issue of off-topic answers accounts for approximately one-third of incorrect answers, yet remains underexplored despite its significance. To alleviate this issue, we propose the Discriminate->Re-Compose->Re- Solve->Re-Decompose (Dr3) mechanism. Specifically, the Discriminator leverages the intrinsic capabilities of LLMs to judge whether the generated answers are off-topic. In cases where an off-topic answer is detected, the Corrector performs step-wise revisions along the reversed reasoning chain (Re-Compose->Re-Solve->Re-Decompose) until the final answer becomes on-topic. Experimental results on the HotpotQA and 2WikiMultiHopQA datasets demonstrate that our Dr3 mechanism considerably reduces the occurrence of off-topic answers in ODMHQA by nearly 13%, improving the performance in Exact Match (EM) by nearly 3% compared to the baseline method without the Dr3 mechanism.
• Abstract（参考訳）: Open Domain Multi-Hop Question Answering (ODMHQA) は、自然言語処理(NLP)において重要な役割を果たす。 最近、LLM(Large Language Models)は、計画、推論、ツールの利用といったODMHQAの能力により、ODMHQAの解決において顕著なパフォーマンスを示している。 しかし、LDMはODMHQAを解こうとすると、オフトピー的な解を生成する可能性があり、すなわち、生成された解は元の質問とは無関係である。 オフトピー回答のこの問題は、その重要性にもかかわらず、不正確な回答のおよそ3分の1を占めている。 この問題を軽減するために,Dr3 の離散化->Re-Compose->Re- Solve->Re-Decompose (Dr3) 機構を提案する。 具体的には, LLMの本質的な能力を利用して, 生成した回答が話題外かどうかを判定する。 オフトピー応答が検出された場合、Correctorは、最終回答がオントピーとなるまで、逆推論チェーン(Re-Compose->Re-Solve->Re-Decompose)に沿ってステップワイズリビジョンを行う。 HotpotQAおよび2WikiMultiHopQAデータセットによる実験結果から,我々のDr3機構はODMHQAにおけるオフトピー応答の発生を約13%削減し,エクササイズマッチ(EM)の性能をDr3機構のないベースライン法と比較して約3%向上することが示された。

関連論文リスト

• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)
• GenSco: Can Question Decomposition based Passage Alignment improve Question Answering? [1.5776201492893507]
  ジェンスコ(GenSco)は,マルチホップ質問の予測分解に基づく経路選択手法である。 広範に確立された3つのマルチホップ質問応答データセットについて評価した。
  論文  参考訳（メタデータ） (2024-07-14T15:25:08Z)
• GenDec: A robust generative Question-decomposition method for Multi-hop reasoning [32.12904215053187]
  マルチホップQAには、複雑な質問に答えるステップバイステップの推論が含まれる。 マルチホップ質問応答における既存の大規模言語モデル(LLM)推論能力は現在も探索が続けられている。 LLMが正しい結論に達するために望ましい推論連鎖に従うかどうかは不明である。
  論文  参考訳（メタデータ） (2024-02-17T02:21:44Z)
• Answering Questions by Meta-Reasoning over Multiple Chains of Thought [53.55653437903948]
  MCR(Multi-Chain Reasoning)は,大規模言語モデルに対して,複数の思考連鎖に対するメタ推論を促す手法である。 MCRは、異なる推論連鎖を調べ、それら間で情報を混合し、説明を生成し、答えを予測する際に最も関係のある事実を選択する。
  論文  参考訳（メタデータ） (2023-04-25T17:27:37Z)
• Successive Prompting for Decomposing Complex Questions [50.00659445976735]
  最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
  論文  参考訳（メタデータ） (2022-12-08T06:03:38Z)
• Interpretable AMR-Based Question Decomposition for Multi-hop Question Answering [12.35571328854374]
  マルチホップQAのための抽象的意味表現(QDAMR)に基づく質問分解手法を提案する。 マルチホップ質問をより単純なサブクエストに分解し、順番に答える。 HotpotQAの実験結果から,本手法は解釈可能な推論と競合することが示された。
  論文  参考訳（メタデータ） (2022-06-16T23:46:33Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Unsupervised Question Decomposition for Question Answering [102.56966847404287]
  本論文では, ワンツーNアン教師付きシーケンスシーケンス(ONUS)のアルゴリズムを提案する。 当初,ドメイン外,マルチホップ開発セットのベースラインが強かったため,HotpotQAでは大きなQA改善が見られた。
  論文  参考訳（メタデータ） (2020-02-22T19:40:35Z)
• Break It Down: A Question Understanding Benchmark [79.41678884521801]
  本稿では,質問に対する質問分解表現(QDMR)について紹介する。 QDMRは、質問に答えるために必要な自然言語で表されるステップの順序付きリストを構成する。 83万組の質問と彼らのQDMRを含むBreakデータセットをリリースする。
  論文  参考訳（メタデータ） (2020-01-31T11:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。