論文の概要: Research on Multi-hop Inference Optimization of LLM Based on MQUAKE Framework

• arxiv url: http://arxiv.org/abs/2509.04770v1
• Date: Fri, 05 Sep 2025 02:58:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.459875
• Title: Research on Multi-hop Inference Optimization of LLM Based on MQUAKE Framework
• Title（参考訳）: MQUAKEフレームワークを用いたLLMのマルチホップ推論最適化に関する研究
• Authors: Zucheng Liang, Wenxin Wei, Kaijie Zhang, Hongyi Chen,
• Abstract要約: 本稿では,MQUAKEフレームワーク内での複雑な質問に対するマルチホップ質問分解法を提案する。 モデル学習前後のモデル理解と推論精度に及ぼす知識グラフ内のマルチホップ質問分解の影響について検討する。
• 参考スコア（独自算出の注目度）: 3.433214967077916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurately answering complex questions has consistently been a significant challenge for Large Language Models (LLMs). To address this, this paper proposes a multi-hop question decomposition method for complex questions, building upon research within the MQUAKE framework. Utilizing the LLAMA3 model, we systematically investigate the impact of multi-hop question decomposition within knowledge graphs on model comprehension and reasoning accuracy, both before and after model training. In our experiments, we systematically partitioned and converted the MQUAKE-T dataset into two distinct formats: a single-hop dataset designed for directly answering complex questions, and a multi-hop dataset constructed using the multi-hop question decomposition method. We then fine-tuned the LLAMA3 model on these datasets and conducted inference tests. Our results demonstrate that, without fine-tuning the LLM, the prediction performance based on the multi-hop question decomposition method significantly outperforms the method of directly answering complex questions. After fine-tuning using the LoRA (Low-Rank Adaptation) method, the performance of both approaches improved compared to the untrained baseline. Crucially, the method utilizing multi-hop decomposition consistently maintained its superiority. These findings validate the effectiveness of the multi-hop decomposition method both before and after training, demonstrating its capability to effectively enhance the LLM's ability to answer complex questions.
• Abstract（参考訳）: 複雑な問題に正確に答えることは、LLM(Large Language Models)にとって、一貫して重要な課題である。 そこで本研究では,MQUAKE フレームワークを用いて,複雑な質問に対するマルチホップ質問分解手法を提案する。 LLAMA3モデルを用いて,知識グラフ内のマルチホップ質問分解がモデル理解および推論精度に与える影響を,モデル学習前後の系統的に検討した。 実験では,MQUAKE-Tデータセットを,複雑な質問に直接答える単一ホップデータセットと,マルチホップ質問分解法を用いて構築したマルチホップデータセットの2つの異なる形式に体系的に分割し,変換した。 次に、これらのデータセット上でLLAMA3モデルを微調整し、推論テストを行った。 その結果, LLMを微調整することなく, マルチホップ質問分解法に基づく予測性能は, 複雑な質問を直接答える手法よりも有意に優れていた。 LoRA (Low-Rank Adaptation) 法を用いて微調整を行った結果, 両手法の性能は未訓練のベースラインに比べて向上した。 重要なことに、マルチホップ分解を利用した手法は、その優位性を維持した。 本研究は, 学習前後のマルチホップ分解法の有効性を検証し, 複雑な質問に答えるLLMの能力を効果的に向上する能力を実証した。

関連論文リスト

• DAGR: Decomposition Augmented Graph Retrieval with LLMs [1.034893617526558]
  DAGRは、複雑な質問と、関連するリンクされたサブグラフを抽出するサブクエストにおけるそれらの分解の両方を活用する検索手法である。 結果として得られるGraph-RAGパイプラインは、複雑なマルチホップ質問の処理と、グラフ構造化データに対する効果的な推論に適している。 DAGRを標準マルチホップQAベンチマークで評価し、競合する既存手法に匹敵する性能または優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-06-16T11:44:28Z)
• Reinforcing Question Answering Agents with Minimalist Policy Gradient Optimization [80.09112808413133]
  Mujicaは、質問をサブクエストの非循環グラフに分解するプランナーであり、検索と推論を通じて質問を解決するワーカーである。 MyGOは、従来のポリシー更新を勾配的いいねりの最大推定に置き換える、新しい強化学習手法である。 複数のデータセットにまたがる実験結果から,マルチホップQA性能向上における MujicaMyGO の有効性が示された。
  論文  参考訳（メタデータ） (2025-05-20T18:33:03Z)
• Unlocking the Potential of Difficulty Prior in RL-based Multimodal Reasoning [69.64809103333839]
  先行情報に対する問題の難易度を明示的にモデル化し,多モーダル推論における強化学習に基づく微調整の有効性を検証した。 提案手法は,2段階学習データのみを2K+0.6Kとする多モード数学的推論ベンチマークにおいて有意な性能を示す。
  論文  参考訳（メタデータ） (2025-05-19T15:43:10Z)
• GRITHopper: Decomposition-Free Multi-Hop Dense Retrieval [52.47514434103737]
  GRITHopper-7Bは,最先端性能を実現する新しいマルチホップ高密度検索モデルである。 GRITHopperは、因果言語モデリングと密集した検索訓練を統合することで、生成的および表現的命令チューニングを組み合わせる。 検索後言語モデリングと呼ばれる検索プロセスの後に追加のコンテキストを組み込むことで,検索性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-03-10T16:42:48Z)
• EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.64500643247252]
  マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。 実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T06:57:49Z)
• Small Language Models Fine-tuned to Coordinate Larger Language Models improve Complex Reasoning [41.03267013352519]
  大きな言語モデル(LLM)は、印象的な推論能力を示すチェーン・オブ・シントを生成するように促された。 本稿では、分解生成器を用いて複雑な問題をより少ない推論ステップを必要とするサブプロブレムに分解するDaSLaMを紹介する。 本稿では,DaSLaMがスケール関数としての解の能力に制限されないことを示す。
  論文  参考訳（メタデータ） (2023-10-21T15:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。