論文の概要: ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

• arxiv url: http://arxiv.org/abs/2607.02509v1
• Date: Thu, 02 Jul 2026 17:59:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.96469
• Title: ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning
• Title（参考訳）: ReContext: ロングコンテキスト推論のためのLLM Harnessとしての再帰的エビデンスリプレイ
• Authors: Yanjun Zhao, Ruizhong Qiu, Tianxin Wei, Yuanchen Bei, Zhining Liu, Lingjie Chen, Ismini Lourentzou, Hanghang Tong, Jingrui He,
• Abstract要約: 長文推論のための LLM Harness として再帰的証拠を提案する。 長文推論を改善するための訓練不要推論法である。 128Kのコンテキスト長を持つ8つの長文データセットの実験は、エビデンスの利用を一貫して改善していることを示している。
• 参考スコア（独自算出の注目度）: 78.94047086588078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding and reasoning over long contexts has become a key requirement for deploying large language models (LLMs) in realistic applications. Although recent LLMs support increasingly long context windows, they often fail to use relevant evidence that is already present in the input, revealing a gap between context access and effective context utilization. In this work, we propose Recursive Evidence Replay as LLM Harness for Long-Context Reasoning (RECONTEXT), a training-free inference method for improving long-context reasoning. RECONTEXT uses model-internal relevance signals to construct a query-conditioned evidence pool and replays it before final generation while preserving the full original context. This recursive selection process separates evidence organization from answer generation without training, external memory, or context pruning. We also provide a theoretical analysis based on associative memory, which characterizes the context as a memory store, the question as a retrieval cue, attention as cue-trace association, and replay as trace reactivation. Experiments on eight long-context datasets with 128K context length show that RECONTEXT consistently improves evidence utilization across Qwen3-4B, Qwen3-8B, and Llama3-8B, achieving the best average rank on all three backbones. Code is available at https://github.com/Yanjun-Zhao/ReContext.
• Abstract（参考訳）: 長いコンテキストに対する理解と推論は、現実的なアプリケーションに大規模言語モデル(LLM)をデプロイする上で重要な要件となっている。 近年のLLMは、より長いコンテキストウィンドウをサポートしているが、入力にすでに存在する関連するエビデンスを使用しず、コンテキストアクセスと効果的なコンテキスト利用のギャップが明らかになっている。 本研究では,LLM Harness for Long-Context Reasoning (RECONTEXT) としてRecursive Evidence Replayを提案する。 RECONTEXTは、クエリ条件付きエビデンスプールを構築するためにモデル内部の関連信号を使用し、完全なオリジナルコンテキストを保持しながら、最終生成前にそれを再生する。 この再帰的選択プロセスは、エビデンスを、トレーニング、外部メモリ、コンテキストプルーニングなしで、回答生成から分離する。 また、連想記憶に基づく理論的解析を行い、記憶記憶としてコンテキストを特徴付け、質問を検索キューとして、注意をキュー・トレース関連として、そしてトレース再活性化として再生する。 128Kのコンテキスト長を持つ8つの長文データセットの実験では、RECONTEXTはQwen3-4B、Qwen3-8B、Llama3-8Bのエビデンス利用を一貫して改善し、3つのバックボーンで最高の平均ランクを達成している。 コードはhttps://github.com/Yanjun-Zhao/ReContextで入手できる。

関連論文リスト

• TRACE: State-Aware Query Processing over Temporal Evidence Graphs for Conversational Data [15.389000154441986]
  本稿では,時間的エビデンスグラフ上の問合せ処理フレームワークTRACEについて述べる。 TRACEは、イベント、セッション、トピックにまたがる階層的なグラフとして会話をモデル化する。 問合せ時に、TRACEは、ベクトルベースのノート検索とグラフ誘導エビデンス検索を組み合わせることで、妥当性を意識したサポートパスと、回答生成のためのハイブリッドコンテキストを生成する。
  論文  参考訳（メタデータ） (2026-07-01T02:28:47Z)
• LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards [53.339700196282905]
  検証可能な報酬(RLVR)による強化学習は,この課題を約束している。 既存の方法は、信頼性の低いインタプリタと、スパースで結果のみの報酬信号によって制限される。 textscLongTraceRLは、ランダムサンプリングやワンショット検索によって作られたものよりもはるかに難しいトレーニングコンテキストを生成する。
  論文  参考訳（メタデータ） (2026-05-29T17:51:40Z)
• RecaLLM: Addressing the Lost-in-Thought Phenomenon with Explicit In-Context Retrieval [0.8594140167290097]
  RecaLLMは、長文情報を効果的に活用するために訓練後の推論言語モデルのセットである。 我々は,証拠の冗長な複写を可能にする,無視可能な制約付き復号化機構を導入する。 最大128Kトークンのコンテキストウィンドウにおいて、最大10Kトークンのトレーニングサンプルを使用して一貫したゲインを観察する。
  論文  参考訳（メタデータ） (2026-04-10T17:04:32Z)
• Panini: Continual Learning in Token Space via Structured Memory [4.979820180013486]
  言語モデルは、トレーニングされていないコンテンツを推論するために、ますます使われています。 一般的なアプローチは検索拡張生成(RAG)であり、これは動詞の文書を(チャンクとして)外部に保存し、推論時に関連するサブセットのみを取得する。 本稿では,基本モデルを固定したままで,新たな経験を外部セマンティックメモリ状態に統合することで学習を行う,人間のような非パラメトリック連続学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:58:03Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding [56.45689495743107]
  Vgentは、長いビデオ理解のためにLVLMを強化するグラフベースの検索推論拡張生成フレームワークである。 我々は,3つの長ビデオ理解ベンチマークを用いて,様々なオープンソースLVLMを用いてフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2025-10-15T19:14:58Z)
• ELITE: Embedding-Less retrieval with Iterative Text Exploration [5.8851517822935335]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 長期のコンテキスト制約を維持する能力は、ドキュメントレベルやマルチターンタスクのパフォーマンスを制限します。
  論文  参考訳（メタデータ） (2025-05-17T08:48:43Z)
• Unstructured Evidence Attribution for Long Context Query Focused Summarization [53.08341620504465]
  固定粒度の場合よりも、より関連性が高く一貫した証拠を得るために、非構造的(すなわち任意の長さのスパン)な証拠を抽出することを提案する。 既存のシステムが、非構造的証拠をコピーし、適切に引用するのにどのように苦労しているかを示す。
  論文  参考訳（メタデータ） (2025-02-20T09:57:42Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。