論文の概要: ActiShade: Activating Overshadowed Knowledge to Guide Multi-Hop Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2601.07260v1
- Date: Mon, 12 Jan 2026 06:57:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-13 19:08:01.253775
- Title: ActiShade: Activating Overshadowed Knowledge to Guide Multi-Hop Reasoning in Large Language Models
- Title(参考訳): ActiShade: 大規模言語モデルでマルチホップ推論をガイドするための過剰な知識の活性化
- Authors: Huipeng Ma, Luan Zhang, Dandan Song, Linmei Hu, Yuhang Tian, Jun Yang, Changzhi Zhou, Chenhao Li, Yizhou Jin, Xudong Li, Meng Lin, Mingxing Zhang, Shuhao Zhang,
- Abstract要約: マルチホップ推論において,大規模言語モデル (LLM) を誘導するために,隠れた知識を検出し,活性化する ActiShade を提案する。
具体的には、ActiShadeは、与えられたクエリにおけるオーバーシャドードキーフレーズを反復的に検出し、クエリとオーバーシャドードキーフレーズの両方に関連するドキュメントを検索し、新しいクエリを生成する。
不適切なノイズの導入を最小限に抑えつつ、次ラウンドクエリの定式化中に隠蔽された知識を補うことで、ActiShadeは知識の隠蔽によるエラーの蓄積を減らす。
- 参考スコア(独自算出の注目度): 21.074364509132643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In multi-hop reasoning, multi-round retrieval-augmented generation (RAG) methods typically rely on LLM-generated content as the retrieval query. However, these approaches are inherently vulnerable to knowledge overshadowing - a phenomenon where critical information is overshadowed during generation. As a result, the LLM-generated content may be incomplete or inaccurate, leading to irrelevant retrieval and causing error accumulation during the iteration process. To address this challenge, we propose ActiShade, which detects and activates overshadowed knowledge to guide large language models (LLMs) in multi-hop reasoning. Specifically, ActiShade iteratively detects the overshadowed keyphrase in the given query, retrieves documents relevant to both the query and the overshadowed keyphrase, and generates a new query based on the retrieved documents to guide the next-round iteration. By supplementing the overshadowed knowledge during the formulation of next-round queries while minimizing the introduction of irrelevant noise, ActiShade reduces the error accumulation caused by knowledge overshadowing. Extensive experiments show that ActiShade outperforms existing methods across multiple datasets and LLMs.
- Abstract(参考訳): マルチホップ推論において、マルチラウンド検索拡張生成(RAG)法は、通常、検索クエリとしてLLM生成コンテンツに依存する。
しかし、これらのアプローチは本質的には知識のオーバーシャドーイングに弱い - 世代間で重要な情報がオーバーシャドードされる現象である。
その結果、LCM生成したコンテンツは不完全あるいは不正確になり、無関係な検索が発生し、イテレーションプロセス中にエラーの蓄積を引き起こす。
この課題に対処するため,マルチホップ推論において大規模言語モデル(LLM)を導くために,隠れた知識を検出し,活性化するActiShadeを提案する。
具体的には、ActiShadeは、与えられたクエリにおける隠蔽キーフレーズを反復的に検出し、クエリと隠蔽キーフレーズの両方に関連するドキュメントを検索し、検索したドキュメントに基づいて新しいクエリを生成し、次のラウンドのイテレーションをガイドする。
不適切なノイズの導入を最小限に抑えつつ、次ラウンドクエリの定式化中に隠蔽された知識を補うことで、ActiShadeは知識の隠蔽によるエラーの蓄積を減らす。
大規模な実験により、ActiShadeは複数のデータセットとLLMで既存のメソッドよりも優れています。
関連論文リスト
- ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。
ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文 参考訳(メタデータ) (2025-11-27T19:01:02Z) - Resource-Friendly Dynamic Enhancement Chain for Multi-Hop Question Answering [21.077964610022313]
この研究はDEC(Dynamic Enhancement Chain)と呼ばれる新しいフレームワークを提案する。
DECはまず複雑な質問を論理的に一貫性のあるサブクエストに分解し、幻覚のない推論連鎖を形成する。
その後、コンテキスト対応の書き換えによってこれらのサブクエストを反復的に洗練し、効率的なクエリの定式化を生成する。
論文 参考訳(メタデータ) (2025-06-21T11:55:27Z) - KnowTrace: Bootstrapping Iterative Retrieval-Augmented Generation with Structured Knowledge Tracing [64.38243807002878]
我々は、大規模言語モデルにおけるコンテキスト過負荷を軽減するためのエレガントなRAGフレームワークであるKnowTraceを紹介する。
KnowTraceは、必要な知識三つ子を自律的に追跡して、入力された質問に関連する特定の知識グラフを整理する。
3つのマルチホップ質問応答ベンチマークで、既存のメソッドを一貫して上回っている。
論文 参考訳(メタデータ) (2025-05-26T17:22:20Z) - Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。
エージェント検索フレームワークであるEXSEARCHを提案する。
4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2025-05-26T15:27:55Z) - LLMs Know What They Need: Leveraging a Missing Information Guided Framework to Empower Retrieval-Augmented Generation [6.676337039829463]
ミス情報ガイド検索抽出パラダイム(MIGRES)を提案する。
欠落した情報の識別を利用して、その後の知識検索を操縦するターゲットクエリを生成する。
複数の公開データセットに対して行われた大規模な実験は、提案したMIGRES法の優位性を明らかにする。
論文 参考訳(メタデータ) (2024-04-22T09:56:59Z) - Where is the answer? Investigating Positional Bias in Language Model Knowledge Extraction [36.40833517478628]
大規模な言語モデルでは、更新を最新状態に保つか、あるいは新しいドメインに適応する必要がある。
1つの鍵は、記憶された情報がクエリプロンプトで抽出可能な方法で最新の情報を記憶することである。
微調整中に文書の難易度を最小化しているにもかかわらず、LLMはプロンプト文を通して情報を取り出すのに苦労している。
論文 参考訳(メタデータ) (2024-02-16T06:29:16Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Active Retrieval Augmented Generation [123.68874416084499]
外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。
ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。
本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
論文 参考訳(メタデータ) (2023-05-11T17:13:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。