論文の概要: Context Recycling for Long-Horizon LLM Inference

• arxiv url: http://arxiv.org/abs/2606.26105v1
• Date: Fri, 01 May 2026 04:45:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:12.942659
• Title: Context Recycling for Long-Horizon LLM Inference
• Title（参考訳）: 長期LLM推論のためのコンテキストリサイクリング
• Abstract要約: 大規模言語モデル(LLM)は、短文推論において強力な能力を示すが、長い会話の地平線上での性能は低下する。 タスク関連情報をターン毎に保持するコンテキストリサイクルシステムであるContextForgeを紹介する。 システムは、完全なコンテキスト再生に頼ることなく、事前計算の効率的な再利用を可能にする。
• 参考スコア（独自算出の注目度）: 0.3655021726150367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit strong capabilities in short-context reasoning but degrade in performance over long conversational horizons due to context window limitations and inefficient token usage. We introduce ContextForge, a system for context recycling that maintains task-relevant information across turns by combining structured query generation, external memory retrieval, and controlled synthesis. The system enables efficient reuse of prior computation without relying on full context replay, reducing token overhead while preserving answer quality. We evaluate ContextForge using a 15-turn conversational benchmark that tests multi-turn reasoning, back-references, and domain shifts across structured healthcare queries. Compared to a baseline agent using identical underlying models, ContextForge demonstrates improved consistency and reduced token consumption, while maintaining comparable response accuracy. These results suggest that context recycling provides a practical approach for extending LLM capabilities in long-horizon tasks without requiring larger context windows or model retraining. Code and evaluation artifacts are available at https://github.com/Betanu701/ContextForge.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、短文推論において強力な機能を示すが、コンテキストウィンドウの制限と非効率的なトークンの使用により、長い会話の地平線上での性能が低下する。 本稿では、構造化クエリ生成、外部メモリ検索、制御された合成を組み合わせることで、各ターンにまたがるタスク関連情報を維持するコンテキストリサイクルシステムContextForgeを紹介する。 このシステムは、完全なコンテキスト再生に頼ることなく、事前計算の効率的な再利用を可能にし、応答品質を維持しながらトークンオーバーヘッドを低減する。 我々は、マルチターン推論、バック参照、および構造化されたヘルスケアクエリ間のドメインシフトをテストする15ターンの会話ベンチマークを用いてContextForgeを評価した。 同じ基盤モデルを使用したベースラインエージェントと比較して、ContextForgeは一貫性の向上とトークン消費の削減を実証し、同等の応答精度を維持している。 これらの結果から,コンテキストウィンドウやモデル再学習を必要とせず,長期タスクにおけるLLM機能拡張のための実践的アプローチが示唆された。 コードと評価アーティファクトはhttps://github.com/Betanu701/ContextForge.orgで入手できる。

関連論文リスト

• Residual Vector-based Reconstruction as Long-Context Recall Regardless of Context Window Size [0.6155604731137828]
  大きな言語モデル(LLM)は、長いドキュメントや長い会話を含む長いコンテキストを処理する。 LLMは入力長に比例して増加するトークンレベルのメモリ使用率に直面する。 本稿では,コンテクスト長が増加するにつれて,ニアコンスタントなGPUメモリ使用率を維持する長文リコール手法を提案する。
  論文  参考訳（メタデータ） (2026-09-11T10:31:46Z)
• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning [78.94047086588078]
  長文推論のための LLM Harness として再帰的証拠を提案する。 長文推論を改善するための訓練不要推論法である。 128Kのコンテキスト長を持つ8つの長文データセットの実験は、エビデンスの利用を一貫して改善していることを示している。
  論文  参考訳（メタデータ） (2026-07-02T17:59:26Z)
• REFRAG: Rethinking RAG based Decoding [67.4862300145604]
  REFRAGは効率的なデコードフレームワークで、RAGアプリケーションの遅延を圧縮し、感知し、拡張し、改善する。 本稿では,RAG,マルチターン会話,長期文書要約など,多種多様な長文タスクを対象としたREFRAGの厳密な検証を行う。
  論文  参考訳（メタデータ） (2025-09-01T03:31:44Z)
• RepoScope: Leveraging Call Chain-Aware Multi-View Context for Repository-Level Code Generation [16.544483144957407]
  RepoScopeは、リポジトリレベルのコード生成のためのコールチェーン対応のマルチビューコンテキストである。 本稿では,リポジトリの構造的セマンティクスを利用して,対象関数における呼び出し者の識別を改善する新しいコールチェーン予測手法を提案する。 RepoScopeは最先端の手法より優れており、pass@1スコアの36.35%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-07-20T02:35:36Z)
• ELITE: Embedding-Less retrieval with Iterative Text Exploration [5.8851517822935335]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 長期のコンテキスト制約を維持する能力は、ドキュメントレベルやマルチターンタスクのパフォーマンスを制限します。
  論文  参考訳（メタデータ） (2025-05-17T08:48:43Z)
• Context-DPO: Aligning Language Models for Context-Faithfulness [80.62221491884353]
  本研究では,大規模言語モデルの文脈信頼度を高めるためのアライメント手法を提案する。 ConFiQAから提供されたコンテキストの質問に対する忠実で頑健な応答を活用することで、Context-DPOは直接の選好最適化を通じてLLMを調整します。 大規模な実験により、私たちのContext-DPOは、一般的なオープンソースモデルで35%から280%の改善を達成し、コンテキスト忠実性を大幅に改善します。
  論文  参考訳（メタデータ） (2024-12-18T04:08:18Z)
• DoubleDipper: Improving Long-Context LLMs via Context Recycling [44.24067814871803]
  In-Context-Learning法であるDoubleDipperを提案する。 提案手法を大規模言語モデルに適用し,大幅な改良を行った。 驚いたことに、シングルホップICLの例しか導入していないにもかかわらず、LLMはマルチホップ長文QAに一般化することに成功している。
  論文  参考訳（メタデータ） (2024-06-19T15:28:29Z)
• On The Importance of Reasoning for Context Retrieval in Repository-Level Code Editing [82.96523584351314]
  我々は、コンテキスト検索のタスクをリポジトリレベルのコード編集パイプラインの他のコンポーネントと分離する。 我々は、推論が収集された文脈の精度を向上させるのに役立っているが、それでもその十分性を識別する能力は欠如していると結論づける。
  論文  参考訳（メタデータ） (2024-06-06T19:44:17Z)
• LLoCO: Learning Long Contexts Offline [63.3458260335454]
  長いコンテキストを処理するための新しいアプローチであるLLoCOを提案する。 LLoCOはコンテキスト圧縮とLoRAによるドメイン内パラメータ効率の微調整を通じて、オフラインでコンテキストを学習する。 提案手法は、4kトークンLLaMA2-7Bモデルの有効コンテキストウインドウを拡張し,最大128kトークンを処理する。
  論文  参考訳（メタデータ） (2024-04-11T17:57:22Z)
• Improving Retrieval Augmented Open-Domain Question-Answering with Vectorized Contexts [83.57864140378035]
  本稿では,オープンドメイン質問応答タスクにおいて,より長いコンテキストをカバーできる手法を提案する。 コンテキストを効果的にエンコードする小さなエンコーダ言語モデルを利用し、エンコーダは元の入力とクロスアテンションを適用する。 微調整後、2つのホールドインデータセット、4つのホールドアウトデータセット、および2つのIn Context Learning設定のパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2024-04-02T15:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。