論文の概要: Cache the Encoder Within:Compact, Reusable Memory across LLM Queries

• arxiv url: http://arxiv.org/abs/2610.10058v1
• Date: Wed, 07 Oct 2026 13:28:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.935505
• Title: Cache the Encoder Within:Compact, Reusable Memory across LLM Queries
• Title（参考訳）: LLMクエリにまたがるコンパクトで再利用可能なメモリでエンコーダをキャッシュする
• Abstract要約: CoMemの中間状態インタフェース上に構築されたEncBankは、その出力を適応された上位層リーダーにコンパクトに格納する。 自己蒸留サフィックスアダプタは、量子化固有のリトレーニングなしで、各バックボーン内の記憶精度で共有される。 ネイティブ精度のQwen3.8-27B構成も89のターミナルベンチ2.1タスクのうち70タスクをパスしている。
• 参考スコア（独自算出の注目度）: 8.513400393183987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Repeated queries over shared documents incur redundant encoding, while caching model states introduces persistent storage costs. Building on CoMem's intermediate-state interface, EncBank treats a pretrained LLM's lower layers as a reusable document encoder and compactly stores their outputs for an adapted upper-layer reader. A self-distilled suffix adapter is shared across storage precisions within each backbone, without quantization-specific retraining. Across five benchmark suites on three Qwen backbones spanning different sizes and full-attention and hybrid architectures, 4-bit storage keeps each reported benchmark aggregate within one score point of native-precision EncBank. In a fixed Qwen3-8B workload, it retains 28.1% of the native-precision persistent GPU store. Separate native-precision controls yield a 1.40x selected-pack prefill speedup over same-evidence, same-adapter text replay, at a 3.12-point RULER accuracy cost. A native-precision Qwen3.8-27B configuration also passes 70 of 89 Terminal-Bench 2.1 tasks. EncBank thus combines reusable computation with compact memory, while task fidelity and end-to-end benefits remain dependent on the workload, preparation costs, and reuse frequency.
• Abstract（参考訳）: 共有ドキュメント上の繰り返しクエリは冗長なエンコーディングを引き起こし、キャッシングモデルステートは永続的なストレージコストを導入する。 CoMemの中間状態インタフェース上に構築されたEncBankは、LLMの下位層を再利用可能なドキュメントエンコーダとして扱い、適応された上位層リーダーに出力をコンパクトに格納する。 自己蒸留サフィックスアダプタは、量子化固有のリトレーニングなしで、各バックボーン内の記憶精度で共有される。 異なるサイズとフルアテンションとハイブリッドアーキテクチャにまたがる3つのQwenバックボーン上の5つのベンチマークスイートで、4ビットストレージは、各ベンチマークの集計結果をネイティブ精度のEncBankのスコアポイント内に保持する。 固定されたQwen3-8Bワークロードでは、ネイティブ精度の永続GPUストアの28.1%を保持する。 異なるネイティブ精度制御により、同一明快で同適応のテキストリプレイよりも1.40倍の選択パックプリフィルスピードアップを3.12ポイントのRULER精度で得る。 ネイティブ精度のQwen3.8-27B構成も89のターミナルベンチ2.1タスクのうち70タスクをパスしている。 EncBankは、再利用可能な計算をコンパクトメモリと組み合わせているが、タスクの忠実さとエンドツーエンドの利点は、作業負荷、準備コスト、再利用頻度に依存している。

関連論文リスト

• TierKV: Long-Context On-Device LLMs via Predictive Multi-Tier KV Caching [17.21633617033978]
  TierKVは、予測的マルチティアキャッシュ最適化に基づいて構築されたモバイルLLM推論フレームワークである。 既存のモバイルLLMフレームワークよりも最大17.6倍のスループット向上を実現している。 これによりRAM常駐のKVキャッシュが12.5-34%削減され、同じメモリ予算でコンテキストが大幅に長くなる。
  論文  参考訳（メタデータ） (2026-09-18T00:36:05Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
  マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。 本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-24T13:56:01Z)
• AdaMem: Adaptive Memory Token Allocation for Soft Compression in Retrieval-Augmented Generation [0.924096104256891]
  AdaMemは、言語モデルのための関連誘導型軟式圧縮フレームワークである。 学習したパス関連推定値を、固定メモリトーケン予算のクエリ依存の割り当てにマップする。 これは、一致したメモリ予算において、他のソフト圧縮手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2026-08-12T13:07:54Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• BitNet Text Embeddings [104.29781473344813]
  BITEMBEDは,符号化効率とベクトル記憶を両立させるLLMベースのテキスト埋め込みのための極低ビットフレームワークである。 BITEMBEDは、トレーニング済みのLLMバックボーンを3次重み、量子化アクティベーション、軽量な正規化改善を備えたBitNetスタイルの埋め込みエンコーダに変換する。 Qwen3-0.6B と Gemma703-2M を用いた MMTEB (eng) の実験では、BITEMBED は完全精度の教師埋め込み器とほぼ同等であることが示された。
  論文  参考訳（メタデータ） (2026-06-24T10:37:01Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems [15.913507689262573]
  AgentKVShift(エージェントKVShift)は、検索したメモリ単位ごとに動作させる訓練不要のプローブ誘導残差補正手法である。 我々は,AgentKVShiftがキャッシュの10～30%をリフレッシュしながら,ほぼ完全な再計算性能を実現することを示す。 このほぼフルに近いパフォーマンスに達するには最大5倍の低い再計算が必要で、以前の再利用メソッドは45～55%のリフレッシュしか得られない。
  論文  参考訳（メタデータ） (2026-05-15T16:29:36Z)
• CAMeR: Keyword-Gated Hybrid Activation for Adaptive Memory Retention in LLM Agents [0.7977229957867867]
  大規模言語モデル(LLM)エージェントは、膨大な量の情報を蓄積する。 本稿では,キーワード付きハイブリッドアクティベーションを組み合わせたメモリ保持フレームワークCAMeRを提案する。 CAMeR-Benchでは、CAMeRのキーワードゲートは、高周波と非参照メモリの間の保持ギャップが1.6$times$大きい。
  論文  参考訳（メタデータ） (2026-05-15T01:38:30Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。