論文の概要: Micro-Macro Retrieval: Reducing Long-Form Hallucination in Large Language Models

• arxiv url: http://arxiv.org/abs/2605.28828v1
• Date: Fri, 10 Apr 2026 05:49:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.541189
• Title: Micro-Macro Retrieval: Reducing Long-Form Hallucination in Large Language Models
• Title（参考訳）: マイクロマクロ検索:大規模言語モデルにおける長期幻覚の低減
• Authors: Yujie Feng, Jian Li, Zhihan Zhou, Pengfei Xu, Yujia Zhang, Xiaoyu Li, Xiaohui Zhou, Alan Zhao, Xi Chen, Xiao-Ming Wu,
• Abstract要約: 大きな言語モデル(LLM)は多くのタスクで素晴らしいパフォーマンスを達成しますが、幻覚の傾向があります。 本稿では,このギャップを埋める新フレームワークであるMicro-Macro Retrieval (M2R)を提案する。
• 参考スコア（独自算出の注目度）: 24.018475672500486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) achieve impressive performance across many tasks but remain prone to hallucination, especially in long-form generation where redundant retrieved contexts and lengthy reasoning chains amplify factual errors. Recent studies highlight a critical phenomenon: the closer key information appears to the model outputs, the higher the factual accuracy. However, existing retrieval-augmented language models (RALMs) lack effective mechanisms to ensure this proximity - external evidence is injected into reasoning via multi-turn retrieval, but this cannot ensure key information stays close to the outputs. We propose Micro-Macro Retrieval (M2R), a novel retrieve-while-generate framework to fill this gap. At the macro level, M2R retrieves coarse-grained evidence from external sources; at the micro level, it extracts essential results from a key information repository built during reasoning and reuses them while generating answers. This design directly addresses the key-information-to-output proximity bottleneck, effectively reducing hallucination in long-form tasks. M2R is trained with a curriculum learning-based reinforcement learning strategy using customized rule-based rewards, enabling stable acquisition of retrieval and grounding skills. Extensive experiments across different benchmarks demonstrate the effectiveness of M2R, especially in lengthy-context settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くのタスクにおいて印象的なパフォーマンスを達成するが、特に冗長に検索されたコンテキストと長い推論チェーンが事実エラーを増幅する長文生成において、幻覚に苦しむ傾向にある。 最近の研究では、モデル出力に近い鍵情報が現れるほど、事実の正確性が高くなるという重要な現象が浮かび上がっている。 しかし、既存の検索強化言語モデル (RALMs) には、この近接性を保証する効果的なメカニズムが欠如している。 本稿では,このギャップを埋める新フレームワークであるMicro-Macro Retrieval (M2R)を提案する。 マクロレベルでは、M2Rは外部ソースから粗い粒度の証拠を回収し、マイクロレベルでは、推論中に構築された重要な情報リポジトリから重要な結果を抽出し、回答を生成しながらそれらを再利用する。 この設計は、キー・インプット・トゥ・アウトプットの近接ボトルネックに直接対処し、ロングフォームタスクにおける幻覚を効果的に低減する。 M2Rは、カスタマイズされたルールベースの報酬を使用してカリキュラムベースの強化学習戦略を訓練し、検索と接地スキルの安定した獲得を可能にする。 異なるベンチマークにわたる大規模な実験は、特に長いコンテキスト設定において、M2Rの有効性を示す。

関連論文リスト

• MISID: A Multimodal Multi-turn Dataset for Complex Intent Recognition in Strategic Deception Games [7.184720967960135]
  マルチターンインタラクションにおける意図認識のための総合ベンチマークMISIDを紹介する。 ハイテイクなソーシャルストラテジーゲームから派生したMISIDは、長文の談話分析とエビデンスに基づく因果追跡に適した、きめ細かい2次元の多次元アノテーションスキームを特徴としている。 MISIDにおける最先端マルチモーダル言語モデル (MLLM) の体系的評価により, テキスト優先視覚幻覚, クロスモーダルシナジーの障害, 連鎖型因果的手がかりの制限など, 複雑なシナリオにおける重要な欠陥が明らかとなった。
  論文  参考訳（メタデータ） (2026-04-14T13:07:54Z)
• Document Reconstruction Unlocks Scalable Long-Context RLVR [60.74632963522131]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の機能強化(長文)のための重要なパラダイムとなっている。 我々は,LLMの長期的文脈能力を高めるための教師なしのアプローチについて検討し,重度の人的アノテーションや教師モデルの監督の必要性を排除した。 提案手法の有効性をRULERとLongBenchv2の2つのベンチマークで検証した。
  論文  参考訳（メタデータ） (2026-02-09T03:23:23Z)
• Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Literal Extraction, Logical Inference, and Hallucination Risks in Long-Context LLMs [0.0]
  大きな言語モデル(LLM)は、非常に長い入力コンテキストをサポートするようになった。 どのようにして情報を抽出し、大規模に推測するかは、まだ不明である。 我々は, 事実配置, コーパスレベルの事実分布, そして, モデル行動にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2026-01-05T11:30:56Z)
• MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
  大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。 Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。 MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
  論文  参考訳（メタデータ） (2025-10-31T15:51:39Z)
• Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models [49.435669307386156]
  MPR(Multi-stage Prompt Refinement)は、複数のステージにわたる不整形プロンプトを体系的に改善するためのフレームワークである。 MPRは、追加の文脈でプロンプトの明快さを反復的に強化し、最も関連する入力を優先順位付けするためにランク付けされた自己回帰機構を使用する。 幻覚ベンチマークの結果、MPRは原型と比較して85%以上の勝利率を達成した。
  論文  参考訳（メタデータ） (2025-10-14T00:31:36Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Autonomous Droplet Microfluidic Design Framework with Large Language Models [0.6827423171182153]
  本研究では,処理および特徴抽出のためのフレームワークであるMicroFluidic-LLMsを提案する。 コンテンツが言語形式に変換され、事前訓練された大きな言語モデルを活用することで、処理上の課題を克服する。 当社のMicroFluidic-LLMsフレームワークは、ディープニューラルネットワークモデルに極めて効果的で簡単なものにすることができることを実証しています。
  論文  参考訳（メタデータ） (2024-11-11T03:20:53Z)
• HERMES: temporal-coHERent long-forM understanding with Episodes and Semantics [32.117677036812836]
  本稿では,HERMESについて紹介する。 2つの汎用モジュールは、既存のビデオ言語モデルを強化したり、スタンドアロンシステムとして運用することができる。 HERMESは、ゼロショットとフル教師付き設定の両方において、複数の長ビデオ理解ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-30T17:52:55Z)
• Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
  検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。 3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。 以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-10T14:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。