論文の概要: Pull: Lazy Materialization of Working Memory for Stateful LLM Conversations
- arxiv url: http://arxiv.org/abs/2609.14773v1
- Date: Sun, 13 Sep 2026 20:26:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.966253
- Title: Pull: Lazy Materialization of Working Memory for Stateful LLM Conversations
- Title(参考訳): Pull: ステートフルLLM会話のためのワーキングメモリの遅延マテリアル化
- Abstract要約: Pullは、ローカルな決定論的(ゼロLLM呼び出し、ミリ秒レベルのレイテンシ)を介してアドレス可能なメタデータディレクトリを保持する。
不可逆圧縮とは異なり、プルの物質化は可逆である。
- 参考スコア(独自算出の注目度): 0.47995234787833113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As LLM conversations grow to hundreds of turns, full-context injection incurs $O(N^2)$ cumulative token costs, while lossy summarization or hard truncation irreversibly discards historical state. We propose Pull, a session router that maintains an addressable metadata directory via a local, deterministic Purifier (zero LLM calls, millisecond-level latency). At query time, the LLM lazily materializes only the turns it needs; unmaterialized turns remain accessible but collapsed. Unlike irreversible compression, Pull's materialization is reversible; subsequent queries can expand any collapsed turn. On LoCoEval (128 conversations, 12,780 turns), Pull reduces per-query context tokens (Phase 2) by 75.1 percent on single-hop tasks with equivalent quality ($Δ= -0.002$, n.s.) and by 72.0 percent on multi-hop tasks with no quality loss ($Δ= +0.017$). A controlled routing benchmark (7,831 queries x 10 methods) shows that entity lifecycle tracking is empirically a prerequisite for distance-independent routing. On BEAM 1M (14 conversations, 263 questions), Pull improves F1 by +55.2 percent over a truncation baseline.
- Abstract(参考訳): LLMの会話が数百回に拡大するにつれて、フルコンテキストのインジェクションは$O(N^2)$累積トークンコストを発生させ、損失の少ない要約やハードトランケーションは歴史的状態を不可逆的に破棄する。
このセッションルータであるPullを提案する。Pullは、ローカルな決定論的Purifier(ゼロLLM呼び出し、ミリ秒レベルのレイテンシ)を介して、アドレス可能なメタデータディレクトリを保持するセッションルータである。
クエリ時、LLMは必要なターンのみを遅延的に実現し、非物質化されたターンは引き続きアクセス可能であるが、崩壊する。
不可逆圧縮とは異なり、プルの物質化は可逆である。
LoCoEval (128の会話、12,780のターン)では、Pullは単一ホップタスク(Δ=-0.002$, n.s.)で、品質損失のないマルチホップタスク(Δ=+0.017$)で75.1%削減する(Phase 2)。
制御されたルーティングベンチマーク (7,831 クエリ x 10 メソッド) は、エンティティライフサイクルのトラッキングが、実験的に距離に依存しないルーティングの前提条件であることを示している。
BEAM 1M (14の会話、263の質問)では、プルはトランケーションベースラインでF1を+55.2%改善した。
関連論文リスト
- Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳(メタデータ) (2026-08-10T07:49:10Z) - ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。
回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。
我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
論文 参考訳(メタデータ) (2026-07-14T17:50:50Z) - Scaling Self-Evolving Agents via Parametric Memory [69.96398842169002]
既存のメモリ拡張LDMエージェントは、過去の経験をプロンプト空間にのみ保存する。
自己進化型パラメトリックメモリフレームワークである textttTMEM を導入する。
textttTMEMは、様々なモデルスケールで要約ベースのベースラインと検索ベースのベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-06-03T07:18:31Z) - Stateful Inference for Low-Latency Multi-Agent Tool Calling [0.0]
LLMベースのシステムでは,マルチエージェント・ツール・コールが主要なインタラクション・パターンになりつつある。
本稿では,従来のサービスにおける$O(n_t)=ターン当たりのコストを$O(_t)$デルタのみのコストに変換する,ステートフルな推論アーキテクチャを提案する。
論文 参考訳(メタデータ) (2026-05-25T19:27:49Z) - R2V Agent: Teaching SLMs When to Ask for Help [13.959667066774124]
対話型エージェントのためのリスク校正型SLM-LLMルーティングフレームワークである textbfR2V-Agent を紹介する。
R2Vは、蒸留された小型言語モデル (SLM) ポリシー、より強力な教師 LLM、各ステップで候補アクションをスコアする軽量プロセス検証器、およびキャリブレーションされたステップレベルのルータの4つのコンポーネントを組み合わせている。
論文 参考訳(メタデータ) (2026-05-15T20:10:24Z) - Grounded Continuation: A Linear-Time Runtime Verifier for LLM Conversations [15.537674351419234]
デプロイされたエージェントに対するコンテキスト操作攻撃は、このギャップを積極的に活用する。
明示的な依存性グラフを保持するランタイム検証器でそれをクローズします。
継続がサポートされるかどうかを確認することは、グラフウォークに還元され、リトラクションは同じグラフを通して、サポートを失う結論を正確に宣言する。
論文 参考訳(メタデータ) (2026-05-13T22:54:16Z) - R2-Router: A New Paradigm for LLM Routing with Reasoning [58.929817721828194]
R2-は既存のルータに比べて4~5倍のコストで最先端性能を実現する。
ルータはリアクティブセレクタから故意の推論器へと進化する。
論文 参考訳(メタデータ) (2026-02-02T21:23:51Z) - ILRe: Intermediate Layer Retrieval for Context Compression in Causal Language Models [4.951427498576812]
ILRe(Intermediate Layer Retrieval)と呼ばれる新しいコンテキスト圧縮パイプラインを導入する。
ILReは、チャンクされたプリフィルをその層にだけストリーミングすることでコンテキストをエンコードし、入力クエリと指定された層のフルキーキャッシュの間のアテンションスコアによってトークンをリコールする。
追加のポストトレーニングやオペレータ開発がなければ、ILReは100万ドルのトークン要求を30分以内で処理できる。
論文 参考訳(メタデータ) (2025-08-25T10:59:02Z) - Reasoning Robustness of LLMs to Adversarial Typographical Errors [49.99118660264703]
大規模言語モデル(LLM)は、Chain-of-Thought(CoT)プロンプトを使用した推論において、印象的な機能を示している。
本研究では,LLMのタイポグラフィ的誤りに対するロバスト性について検討する。
我々は,クエリに重要な単語の型を反復的にサンプリングし,攻撃に成功しそうな編集を選択する,Adversarial Typo Attack(texttATA$)アルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-11-08T05:54:05Z) - Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval [55.63711219190506]
大きな言語モデル(LLM)は、しばしば適切な検索クエリのポーズに苦労する。
私たちは$underlineLe$arningを$underlineRe$trieveに$underlineT$rying (LeReT)を導入します。
LeReTは、絶対精度を最大29%向上し、下流ジェネレータの評価を17%向上させることができる。
論文 参考訳(メタデータ) (2024-10-30T17:02:54Z) - Refiner: Restructure Retrieval Content Efficiently to Advance Question-Answering Capabilities [30.1331670544648]
大規模言語モデル(LLM)はパラメトリックな知識によって制限され、知識集約的なタスクに幻覚をもたらす。
我々は、RAGの検索後のプロセスで機能するエンドツーエンドの抽出・再構成パラダイムである$textitRefiner$を提案する。
論文 参考訳(メタデータ) (2024-06-17T09:25:10Z) - LeanContext: Cost-Efficient Domain-Specific Question Answering Using
LLMs [1.9468358338146958]
質問応答(QA)は大規模言語モデル(LLM)の重要な応用である
本稿では、人間指向の要約からAIモデルフレンドリーな要約へ移行する。
当社のアプローチであるLeanContextは、クエリと密接に一致したコンテキストから、$k$キー文を効率的に抽出します。
論文 参考訳(メタデータ) (2023-09-02T06:33:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。