論文の概要: RecaLLM: Addressing the Lost-in-Thought Phenomenon with Explicit In-Context Retrieval

• arxiv url: http://arxiv.org/abs/2604.09494v1
• Date: Fri, 10 Apr 2026 17:04:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.972979
• Title: RecaLLM: Addressing the Lost-in-Thought Phenomenon with Explicit In-Context Retrieval
• Title（参考訳）: RecaLLM: 明示的なインコンテキスト検索によるロスト・イン・サート現象への対処
• Authors: Kyle Whitecross, Negin Rahimi,
• Abstract要約: RecaLLMは、長文情報を効果的に活用するために訓練後の推論言語モデルのセットである。 我々は,証拠の冗長な複写を可能にする,無視可能な制約付き復号化機構を導入する。 最大128Kトークンのコンテキストウィンドウにおいて、最大10Kトークンのトレーニングサンプルを使用して一貫したゲインを観察する。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose RecaLLM, a set of reasoning language models post-trained to make effective use of long-context information. In-context retrieval, which identifies relevant evidence from context, and reasoning are deeply intertwined: retrieval supports reasoning, while reasoning often determines what must be retrieved. However, their interaction remains largely underexplored. In preliminary experiments on several open-source LLMs, we observe that in-context retrieval performance substantially degrades even after a short reasoning span, revealing a key bottleneck for test-time scaling that we refer to as lost-in-thought: reasoning steps that improve performance also make subsequent in-context retrieval more challenging. To address this limitation, RecaLLM interleaves reasoning with explicit in-context retrieval, alternating between reasoning and retrieving context information needed to solve intermediate subproblems. We introduce a negligible-overhead constrained decoding mechanism that enables verbatim copying of evidence spans, improving the grounding of subsequent generation. Trained on diverse lexical and semantic retrieval tasks, RecaLLM achieves strong performance on two long-context benchmarks, RULER and HELMET, significantly outperforming baselines. Notably, we observe consistent gains at context windows of up to 128K tokens using training samples of at most 10K tokens, far shorter than those used by existing long-context approaches, highlighting a promising path toward improving long-context performance without expensive long-context training data.
• Abstract（参考訳）: 本稿では,長文情報を有効に活用するための推論言語モデルであるRecaLLMを提案する。 文脈から関連する証拠を識別するインコンテキスト検索と推論は深く絡み合っている: 検索は推論をサポートし、推論は検索すべきものをしばしば決定する。 しかし、その相互作用はほとんど未解明のままである。 いくつかのオープンソース LLM の予備実験では、短い推論範囲の後にもコンテキスト内検索性能が著しく低下し、テスト時間スケーリングにおける重要なボトルネックが明らかとなった。 この制限に対処するため、RecaLLMは推論を明示的な文脈内検索とインターリーブし、中間的なサブプロブレムを解決するのに必要なコンテキスト情報と推論を交互に取得する。 本稿では,エビデンスを冗長にコピーし,その後の生成の基盤を改良する,無視可能なオーバヘッド制約付き復号機構を提案する。 RecaLLMは様々な語彙的および意味的検索タスクに基づいており、RULERとHELMETという2つの長文のベンチマークで高いパフォーマンスを達成し、ベースラインを著しく上回っている。 特に,10Kトークンのトレーニングサンプルを用いて,最大128Kトークンのコンテキストウィンドウにおける一貫したゲインを観測した。

関連論文リスト

• Reasoning-Augmented Representations for Multimodal Retrieval [27.4146940988752]
  Universal Multimodal Retrieval (UMR) は、テキストと視覚を横断する任意の検索を求める。 画像が“サイレント”なエビデンスを持ち、クエリがキーセマンティクスを暗黙的に残す場合、単一の埋め込みパスは理由と圧縮の両方でなければならない。 本稿では、検索前の推論を外部化することで、これらの役割を分離するデータ中心のフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-06T19:01:54Z)
• LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards [57.993003392037174]
  LongRは動的"Think-and-Read"メカニズムを統合することで、長時間コンテキストのパフォーマンスを向上させるフレームワークである。 LongRは様々なRLアルゴリズムのパフォーマンスを継続的に向上する。
  論文  参考訳（メタデータ） (2026-02-05T15:26:47Z)
• Improving Context Fidelity via Native Retrieval-Augmented Reasoning [35.50952279309109]
  大規模言語モデル(LLM)は、しばしば文脈の忠実さと闘い、提供された情報に基づいて質問に答えるときに矛盾する答えを生み出す。 提案するCAREは, LLMに対して, モデル独自の検索機能を用いて, 推論プロセス内での文脈内証拠を明示的に統合するように教える, 新たなネイティブ検索拡張推論フレームワークである。 提案手法では,限定ラベル付きエビデンスデータが必要であり,推論チェーン内の戦略的に検索されたインコンテキストトークンを通じて,検索精度と回答生成性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-09-17T04:28:07Z)
• ELITE: Embedding-Less retrieval with Iterative Text Exploration [5.8851517822935335]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 長期のコンテキスト制約を維持する能力は、ドキュメントレベルやマルチターンタスクのパフォーマンスを制限します。
  論文  参考訳（メタデータ） (2025-05-17T08:48:43Z)
• Reducing Distraction in Long-Context Language Models by Focused Learning [6.803882766744194]
  本稿では,大規模言語モデルの関連情報を識別する能力を高める新しい学習手法を提案する。 長いコンテキストで微調整を行う際、最も関連性の高いセグメントを抽出するために検索器を用いる。 次に、元のコンテキストと検索したサブコンテキストからの出力が密接に一致していることを明確にするために、補助的なコントラスト学習対象を導入する。
  論文  参考訳（メタデータ） (2024-11-08T19:27:42Z)
• Rethinking Visual Dependency in Long-Context Reasoning for Large Vision-Language Models [62.698520962933195]
  LVLM(Large Vision-Language Models)は、クロスモデルタスクでは優れているが、長文推論ではパフォーマンスが低下する。 そこで本研究では,重要でないテキスト情報を選択的に除去する,学習不要なコンテキストプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:59:09Z)
• A Controlled Study on Long Context Extension and Generalization in LLMs [85.4758128256142]
  広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。 長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。 我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。
  論文  参考訳（メタデータ） (2024-09-18T17:53:17Z)
• NeedleBench: Evaluating LLM Retrieval and Reasoning Across Varying Information Densities [51.07379913779232]
  NeedleBenchは、長いコンテキストタスクにおける検索と推論のパフォーマンスを評価するためのフレームワークである。 モデルの機能を厳格にテストするために、キーデータポイントをさまざまな深さに埋め込む。 実験の結果,Deep-R1やOpenAIのo3のような推論モデルは,情報密度シナリオにおける連続的な検索と推論に苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-07-16T17:59:06Z)
• Phrase Retrieval Learns Passage Retrieval, Too [77.57208968326422]
  文節検索が,文節や文書を含む粗いレベルの検索の基盤となるかを検討する。 句検索システムでは,句検索の精度が向上し,句検索の精度が向上していることを示す。 また,句のフィルタリングやベクトル量子化により,インデックスのサイズを4～10倍に削減できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T17:42:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。