論文の概要: BCMT: Blockwise Causal Memory Transformer

• arxiv url: http://arxiv.org/abs/2608.13578v1
• Date: Mon, 06 Jul 2026 22:20:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.206303
• Title: BCMT: Blockwise Causal Memory Transformer
• Title（参考訳）: BCMT:Blockwise Causal Memory Transformer
• Abstract要約: BCMT (Blockwise Causal Memory Transformer) は、長文言語モデリングのためのアーキテクチャである。 Dense causal self-attentionは、ローカルブロック内で独立に適用される。 各ブロックは指数因果メモリを介して集約された適応的な要約を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer architectures rely on dense self-attention to model long-range dependencies, but this mechanism exhibits quadratic complexity with respect to sequence length. We introduce BCMT (Blockwise Causal Memory Transformer), an architecture for long-context language modeling that decouples local token interactions from global context propagation. Dense causal self-attention is applied independently within local blocks, while each block produces an adaptive summary aggregated through an exponential causal memory. This memory is subsequently injected back into the token representations, enabling efficient propagation of long-range contextual information without relying on explicit global attention. Unlike standard Transformers and recurrent memory architectures, BCMT maintains neither dense interactions between distant tokens nor learned memory states. Its memory mechanism is fully parallelizable and remains compatible with standard implementations of dense self-attention. Experiments on language modeling with context lengths of up to 1024 tokens show that BCMT achieves validation performance comparable to that of Dense Transformers while significantly improving training throughput and reducing memory consumption. An ablation study further confirms that these improvements arise from the proposed memory mechanism. These results demonstrate that an exponential causal memory constructed from block summaries provides an effective alternative to dense global attention mechanisms for long-context language modeling.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは、長距離依存をモデル化するために密度の高い自己アテンションに依存しているが、このメカニズムはシーケンス長に関して二次的な複雑さを示す。 BCMT(Blockwise Causal Memory Transformer)は,グローバルなコンテキスト伝搬から局所トークン相互作用を分離する,長期コンテキスト言語モデリングのためのアーキテクチャである。 各ブロックは指数因果メモリを介して集約された適応的な要約を生成する。 このメモリはその後トークン表現に注入され、明示的なグローバルな注意を頼らずに、長距離コンテキスト情報の効率的な伝播を可能にする。 標準的なトランスフォーマーやリカレントメモリアーキテクチャとは異なり、BCMTは遠いトークン間の密な相互作用も学習されたメモリ状態も維持しない。 メモリ機構は完全に並列化可能であり、高密度自己保持の標準実装と互換性がある。 最大1024トークンのコンテクスト長を持つ言語モデリングの実験では、BCMTはDense Transformersに匹敵する検証性能を達成し、トレーニングのスループットを大幅に改善し、メモリ消費を削減した。 アブレーション研究は、これらの改善が提案された記憶機構から生じることをさらに確認している。 これらの結果から,ブロックサマリーから構築した指数的因果記憶が,長文言語モデリングにおける高密度グローバルアテンション機構の代替となることが示唆された。

関連論文リスト

• Stream-CQSA: Avoiding Out-of-Memory in Attention Computation via Flexible Workload Scheduling [0.0]
  Stream-CQSAはメモリ適応型スケジューリングフレームワークで、注意を任意のメモリ予算に適合するサブプロブレムに分割する。 実験では、予測可能なメモリスケーリングを示し、数十億のシーケンスに対する正確な注意が、ストリーミング経由で単一のGPU上で実行可能であることを示す。
  論文  参考訳（メタデータ） (2026-04-22T17:46:09Z)
• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
  Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。 メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T19:25:51Z)
• Recurrent Memory Transformer [0.3529736140137003]
  メモリ拡張セグメントレベルリカレント変圧器(リカレントメモリ変圧器)について検討する。 入力や出力シーケンスに特別なメモリトークンを追加することで、Transformerモデルに変更を加えることなくメモリ機構を実装します。 我々のモデルは、より小さなメモリサイズのための言語モデリングにおけるTransformer-XLと同等に動作し、より長いシーケンス処理を必要とするタスクに対して性能を向上する。
  論文  参考訳（メタデータ） (2022-07-14T13:00:22Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Memory Transformer [0.31406146587437894]
  トランスフォーマーベースのモデルは、多くの自然言語処理タスクにおいて最先端の結果を得た。 メモリ拡張ニューラルネットワーク(MANN)は、従来のニューラルネットワークを拡張し、汎用メモリで表現する。 我々は,これらのメモリ拡張トランスフォーマーを評価し,メモリの存在がモデル性能と正の相関関係があることを実証した。
  論文  参考訳（メタデータ） (2020-06-20T09:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。