論文の概要: Parallel Causal Associative Fields: Gated Sparse Memory for Long-Context Language Modeling

• arxiv url: http://arxiv.org/abs/2606.10435v1
• Date: Tue, 09 Jun 2026 05:23:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.334427
• Title: Parallel Causal Associative Fields: Gated Sparse Memory for Long-Context Language Modeling
• Title（参考訳）: 並列因果連想場:長期言語モデリングのためのスパースメモリ
• Authors: Muhammad Ahmed,
• Abstract要約: 本稿では,因果後継レコードに対するコンテント適応メモリの並列化について検討する。 提案されているParallel Causal Associative Field (PCAF)は、コンテキストウィンドウからハッシュバケットにローカルレコードを記述する。 我々は,分散 Google Cloud TPU v4-32 pod を用いて,WikiText-103 と PG-19 の完全自己回帰事前学習による PCAF の評価を行った。
• 参考スコア（独自算出の注目度）: 0.8460698440162889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers achieve strong language modeling performance by providing direct token-to-token communication paths, but causal self-attention scales quadratically with context length. Recurrent and state-space models reduce this cost, yet compress history into sequentially updated fixed-size states. This paper studies a third primitive: a parallel content-addressed memory over causal successor records. The proposed Parallel Causal Associative Field (PCAF) writes local records from a context window into hash buckets, retrieves a bounded candidate set for the current query, forms a sparse cache distribution over successor tokens, and mixes that cache with a parametric local language model through a learned gate. The resulting model maintains sparse long-context access while avoiding a single fixed recurrent state bottleneck. We evaluate PCAF under full autoregressive pretraining on WikiText-103 and PG-19 using a distributed Google Cloud TPU v4-32 pod. At 303M parameters and context length T = 2048, PCAF-semantic reaches 36.31 perplexity on WikiText-103 and 52.45 perplexity on PG-19, compared with 47.49 and 53.84 for a matched dense Transformer. PCAF-semantic simultaneously processes 0.61-0.62M tokens/s across the TPU pod, versus 0.43M tokens/s for dense and local attention baselines. Supporting 41M-parameter multi-seed sweeps and single-GPU component ablations show that the associative cache, retrieval capacity, and learned gate materially affect the speed-quality trade-off.
• Abstract（参考訳）: トランスフォーマーは直接トークン・ツー・トークン通信経路を提供することで、強力な言語モデリング性能を得るが、因果自己注意尺度は文脈長の2倍にスケールする。 リカレントおよびステートスペースモデルは、このコストを削減するが、履歴を逐次更新された固定サイズ状態に圧縮する。 本稿では,第3のプリミティブとして,因果後継レコードに対するコンテント適応メモリの並列化について検討する。 提案されたParallel Causal Associative Field (PCAF)は、コンテキストウィンドウからハッシュバケットにローカルレコードを書き込み、現在のクエリのバウンドセットを検索し、後続トークン上のスパースキャッシュ分布を作成し、学習ゲートを介してパラメトリックのローカル言語モデルと混在させる。 結果として得られたモデルは、単一の固定されたリカレント状態ボトルネックを避けながら、スパースなロングコンテキストアクセスを維持します。 我々は,分散 Google Cloud TPU v4-32 pod を用いて,WikiText-103 と PG-19 の完全自己回帰事前学習による PCAF の評価を行った。 303Mパラメータと文脈長T = 2048では、PCAF-semanticはWikiText-103では36.31パープレキシティ、PG-19では52.45パープレキシティに達する。 PCAFセマンティックはTPUポッド上で0.61-0.62Mトークン/sを同時に処理するが、密集および局所的な注意ベースラインでは0.43Mトークン/sである。 41MパラメータのマルチシードスイープとシングルGPUコンポーネントアブレーションをサポートすることで、連想キャッシュ、検索能力、学習ゲートが、スピード品質のトレードオフに重大な影響を及ぼすことを示す。

関連論文リスト

• Towards Closing the Autoregressive Gap in Language Modeling via Entropy-Gated Continuous Bitstream Diffusion [14.692250535148196]
  拡散言語モデル(DLM)は並列で順序に依存しない生成を約束するが、歴史的にはサンプルの品質と多様性において自己回帰モデルに遅れを取ってきた。 トークン埋め込みに対する最近の連続流れと拡散アプローチは、このギャップを狭め、連続状態空間が言語に非常に有効であることを示唆している。 本研究では,テキストを固定幅のバイナリビットストリーム上での連続拡散プロセスとしてモデル化することにより,自己回帰的ギャップをさらに埋める。
  論文  参考訳（メタデータ） (2026-05-07T22:50:51Z)
• CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
  完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。 CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。 超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
  論文  参考訳（メタデータ） (2026-04-05T20:13:22Z)
• Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
  Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。 LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。 原子のコミットメントの前に、言語や構造的受容の境界を画定する。
  論文  参考訳（メタデータ） (2026-03-05T18:25:26Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Training-Free Long-Context Scaling of Large Language Models [114.53296002607993]
  我々は、Llama2 70Bが連続的なトレーニングなしで100k以上のトークンのコンテキストウィンドウをサポート可能なDual Chunk Attentionを提案する。 長いシーケンスの注意をチャンクベースのモジュールに分解することで、DCAはトークンの相対的な位置情報を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-02-27T12:39:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。