論文の概要: Adaptive Retrieval helps Reasoning in LLMs -- but mostly if it's not used

• arxiv url: http://arxiv.org/abs/2602.07213v1
• Date: Fri, 06 Feb 2026 21:48:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.5106
• Title: Adaptive Retrieval helps Reasoning in LLMs -- but mostly if it's not used
• Title（参考訳）: Adaptive RetrievalはLLMでReasoningを支援する。
• Authors: Srijan Shakya, Anamaria-Roberta Hartl, Sepp Hochreiter, Korbinian Pöppel,
• Abstract要約: 大規模言語モデル(LLM)は静的なパラメトリックな知識のため、複雑な推論タスクでしばしば失敗する。 この研究は、生成モデルを強化するための基本原理を探求し、動的文脈内学習の一形態として検索を扱います。
• 参考スコア（独自算出の注目度）: 19.370220750406755
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) often falter in complex reasoning tasks due to their static, parametric knowledge, leading to hallucinations and poor performance in specialized domains like mathematics. This work explores a fundamental principle for enhancing generative models: treating retrieval as a form of dynamic in-context learning. We test an adaptive retrieval-augmented architecture where an LLM agent actively decides when to query an external knowledge base during its reasoning process. We compare this adaptive strategy against a standard Chain-of-Thought (CoT) baseline and a static retrieval approach on the GSM8K and MATH-500 benchmarks. Although our experiments show that static retrieval is inferior to CoT, the adaptive retrieval shows interesting behavior: While traces including retrieved results show slightly worse performance compared to CoT, traces that do not include retrieval actually perform better compared to CoT. This suggests that: (a) retrieval only rarely helps reasoning (we show a few counterexamples, e.g. using useful theorems) and (b) actively not using retrieval is indicative of good model performance. Furthermore, we find that the model scales its retrieval frequency with the difficulty of the problem, reinforcing that the decision to retrieve is a crucial metacognitive signal. The agent's ability to self-assess its knowledge and selectively engage with external information represents a key principle for building more robust and reliable generative models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は静的でパラメトリックな知識のために複雑な推論タスクをこなすことが多く、数学のような専門分野では幻覚や性能が劣る。 この研究は、生成モデルを強化するための基本原理を探求し、動的文脈内学習の一形態として検索を扱います。 我々は、LLMエージェントがその推論プロセス中に外部知識ベースに問い合わせるタイミングを積極的に決定する適応的な検索拡張アーキテクチャをテストする。 GSM8K と MATH-500 ベンチマークの静的検索手法と標準Chain-of-Thought (CoT) ベースラインに対する適応戦略を比較した。 静的検索はCoTに劣るが,適応的検索は興味深い動作を示す: 検索結果を含むトレースはCoTに比べて若干パフォーマンスが悪いが,検索を含まないトレースはCoTと比較して実際に性能が良い。 これは次のことを示唆している。 (a)検索は推論にはほとんど役立ちません(いくつかの反例を示します、例えば有用な定理を使います)。 b) 検索を積極的に用いていないことは, 良好なモデル性能を示すものである。 さらに,本モデルでは,問題の難易度に応じて検索頻度を拡大し,検索決定が重要なメタ認知信号であることを示す。 エージェントの知識を自己評価し、外部情報に選択的に関与する能力は、より堅牢で信頼性の高い生成モデルを構築するための鍵となる原則である。

関連論文リスト

• Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
  アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。 EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。 EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
  論文  参考訳（メタデータ） (2025-12-23T08:14:44Z)
• DAMR: Efficient and Adaptive Context-Aware Knowledge Graph Question Answering with LLM-Guided MCTS [28.828541350757714]
  本稿では,知識グラフ質問応答(KGQA)のための動的適応MCTSベースの推論(DAMR)を提案する。 DAMRは、MCTS(Monte Carlo Tree Search)と適応経路評価を統合し、コンテキスト対応のKGQAを実現する。 複数のKGQAベンチマークの実験では、DAMRはSOTA法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-08-01T15:38:21Z)
• Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
  テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。 文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。 モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
  論文  参考訳（メタデータ） (2025-06-13T18:08:54Z)
• SEM: Reinforcement Learning for Search-Efficient Large Language Models [26.075903427834838]
  大きな言語モデル(LLM)は、推論だけでなく、外部ツールの呼び出しでもその能力を実証している。 既存の強化学習アプローチは、しばしば冗長な探索行動を引き起こす。 本研究では,学習後強化学習フレームワークであるSEMを提案する。
  論文  参考訳（メタデータ） (2025-05-12T09:45:40Z)
• Adaptive Distraction: Probing LLM Contextual Robustness with Automated Tree Search [76.54475437069395]
  大きな言語モデル(LLM)は、意味的に一貫性があるがタスクに依存しないコンテキスト情報に直面している場合、元のパフォーマンスを維持するのに苦労することが多い。 本稿では,木探索に基づく動的散逸生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Large Language Model Can Be a Foundation for Hidden Rationale-Based Retrieval [12.83513794686623]
  本稿では,隠れ合理性検索という,より困難なタイプの検索タスクを提案し,検討する。 このような問題に対処するためには、命令調整付き大規模言語モデル(LLM)とクロスエンコーダアーキテクチャが妥当な選択である可能性がある。 我々は、RaHoReによってこの検索フレームワークを命名し、感情支援会話(ESC)におけるゼロショットおよび微調整性能上の優位性を検証した。
  論文  参考訳（メタデータ） (2024-12-21T13:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。