論文の概要: Context by Distinct Information: An Auditable Dirichlet-Process Working Memory for Long, Redundant Context Streams

• arxiv url: http://arxiv.org/abs/2607.10441v1
• Date: Sat, 11 Jul 2026 18:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.43155
• Title: Context by Distinct Information: An Auditable Dirichlet-Process Working Memory for Long, Redundant Context Streams
• Title（参考訳）: 識別情報によるコンテキスト:長くて冗長なコンテキストストリームのための聴取可能なディリクレ-プロセスワーキングメモリ
• Authors: Siddharth Pal, Viktoria Rojkova,
• Abstract要約: 作業メモリコンポーネントとしてアロケーション・オン・ノベルティキャッシュを開発します。 また,トークンの約半数に到達しながら,新規な注目度がフルアテンション性能に達することを示す。 実験は小規模で、公開データのみを使用する。
• 参考スコア（独自算出の注目度）: 0.48342038441006796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context engineering decides what information a model carries forward, and current designs meter it in tokens: compressing the past into a bounded recurrent state, keeping a key-value entry for every token, or imposing a fixed budget through a window or eviction rule. All three make the token the unit of memory even when the stream is redundant and the task depends on the distinct information it carries. Building on a companion mechanism paper that opens a cache slot only when an incoming key is novel, so memory scales with the number of distinct items rather than tokens, we develop that allocate-on-novelty cache as a working-memory component and organize context by how a task depends on the past: recall-carried information belongs in a content-addressed novelty cache, summary-carried information in a recurrent state, and locality-carried information in a recency window. The claim is empirical and bounded. On a matched character-level control, novelty-gated attention reaches full-attention performance while attending to about half the tokens, and coupling the cache with a state-space summary matches full-attention coupling at that reduced cost; the advantage grows as context lengthens, while a sliding window is preferable on short, locality-dominated spans. On next-code prediction over synthetic Medicare claims the coupled component leads full attention and every fixed-budget eviction policy at a thousand-event horizon, whereas cost forecasting over the same stream is summary-carried and the cache is neutral. The retained memory is an inspectable table of templates, codes, drugs, or places rather than an opaque state. The experiments are small-scale and use only public data; they establish the primitive that context can scale with distinct information rather than tokens, in a working memory that is content-addressable and auditable.
• Abstract（参考訳）: コンテキストエンジニアリングは、モデルがどの情報を転送するかを決定し、現在の設計では、過去を境界付けられたリカレントな状態に圧縮するか、トークン毎にキー値のエントリを保持するか、ウィンドウやエビクションルールを通じて固定予算を課すか、トークンで計測する。 3つとも、ストリームが冗長な場合でもトークンをメモリ単位とし、タスクはそれを運ぶ異なる情報に依存する。 入力キーが新規である場合にのみキャッシュスロットをオープンするコンパニオン機構紙上に構築することにより、メモリはトークンではなく個別のアイテム数でスケールし、そのアロケーション・オン・ノベルティ・キャッシュをワーキングメモリコンポーネントとして開発し、タスクが過去に依存する状況でコンテキストを整理する。 その主張は実証的で境界づけられている。 一致した文字レベル制御では、トークンの約半分に到達し、キャッシュと状態空間のサマリを結合すると、その削減コストでフルアテンション結合が成立し、その利点はコンテキストの長さが長くなるにつれて増大し、スライディングウィンドウは短所で局所的に支配されたスパンで好まれる。 合成メディケアの次のコード予測では、結合されたコンポーネントは完全な注意を惹き、1000の地平線における固定予算削減政策を全て引き起こすが、同じストリーム上のコスト予測は要約され、キャッシュは中立である。 保持メモリは、不透明な状態ではなく、テンプレート、コード、薬物、または場所の検査可能なテーブルである。 これらの実験は小規模であり、公開データのみを使用する。コンテンツに適応し、監査可能なワーキングメモリにおいて、コンテキストがトークンではなく、別の情報でスケールできるプリミティブを確立する。

関連論文リスト

• Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention [0.48342038441006796]
  本稿では,入力が新規である場合にのみスロットを割り当てるスパースキャッシュについて検討する。 固定濃度の静的キャッシュと,最近の新規性率に追従したサプライズ適応変種という2つの形態で開発する。
  論文  参考訳（メタデータ） (2026-07-10T18:28:21Z)
• FadeMem: Distance-Aware Memory Consolidation for Autoregressive Video Diffusion [59.207505503284715]
  FadeMemは、歴史的なKVブロックを固定キャッシュ予算の下で時間階層に整理する。 新しい歴史はきめ細かいエントリとして挿入され、古い隣のエントリは徐々にマージされる。 実験では、既存の有界キャッシュ戦略よりも、被験者の一貫性、背景安定性、時間的コヒーレンスが改善された。
  論文  参考訳（メタデータ） (2026-06-09T10:22:18Z)
• EM-Vid: Training-Free Entity-Centric Memory for Efficient and Consistent Multi-Shot Video Generation [18.052867824594347]
  マルチショットビデオ生成には、ショット間で連続的なエンティティの出現を維持する必要がある。 最近の自己回帰手法は、以前生成されたフレームをメモリとして再利用する。 我々は、潜伏パッチのエンティティインデックスバンクという形でエンティティ中心のメモリを提案する。
  論文  参考訳（メタデータ） (2026-05-22T13:20:29Z)
• Stem: Rethinking Causal Information Flow in Sparse Attention [28.46760179998361]
  本稿では,情報フローに整合した新しいプラグアンドプレイスペースモジュールであるStemを提案する。 まず、StemはToken Position-Decay戦略を採用し、各レイヤ内で位置依存のトップkを適用して初期トークンを保持する。 次に、情報豊富なトークンを保存するために、StemはOutput-Aware Metricを使用する。
  論文  参考訳（メタデータ） (2026-03-06T13:33:29Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Landmark Attention: Random-Access Infinite Context Length for Transformers [45.69864961773124]
  ランダムアクセスの柔軟性を維持しつつ、完全なコンテキストへのアクセスを可能にする新しいアプローチを提案する。 本手法では,入力の各ブロックをランドマークトークンで表現し,関連するブロックを選択するために注目度をトレーニングする。 提案手法はTransformer-XLと同等の性能を示し,各ステップで取得したトークンの数を大幅に削減する。
  論文  参考訳（メタデータ） (2023-05-25T17:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。