Fugu-MT 論文翻訳(概要): MixFormer: Linear Transformer with Mixture of Memory Experts

論文の概要: MixFormer: Linear Transformer with Mixture of Memory Experts

arxiv url: http://arxiv.org/abs/2608.09468v1
Date: Mon, 10 Aug 2026 11:38:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:37.225894
Title: MixFormer: Linear Transformer with Mixture of Memory Experts
Title（参考訳）: MixFormer: メモリエキスパートの混在を伴う線形変換器
Abstract要約: そこで我々は,Mixture-of-Memory-Experts (MoE) 機構を統合した線形変換器であるMixFormerを提案する。このモデルは、複数の協調するメモリ専門家を通して区別されたメモリ状態を維持し、新しい Time-Aware Linear Attention (TALA) メカニズムを採用している。長いシーケンスのテキストと画像生成タスクの実験は、MixFormerが大幅なパフォーマンス向上を達成することを示す。
参考スコア（独自算出の注目度）: 8.465156775656679
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: State Space Models (SSMs), as a mainstream research direction of linear Transformers, aim to achieve higher efficiency than standard Transformers in long-context modeling. However, existing SSMs suffer from limited input adaptivity and constrained memory capacity, leading to information loss when modeling ultra-long sequences. To address these limitations, we propose MixFormer, a novel linear Transformer that integrates a Mixture-of-Memory-Experts (MoE) mechanism. Specifically, the model maintains differentiated memory states through multiple collaborating memory experts and employs a novel Time-Aware Linear Attention (TALA) mechanism, which leverages learnable exponential decay functions and positional biases to dynamically update memory. This design enables the model to selectively reinforce important historical information while effectively mitigating memory dilution, substantially improving long-range dependency modeling. Experiments on long-sequence text and image generation tasks demonstrate that MixFormer not only achieves significant performance gains but also provides a more sustainable computational backbone for the next generation of web infrastructure.
Abstract（参考訳）: 線形変換器の主流研究方向である状態空間モデル(SSM)は、長文モデリングにおける標準変換器よりも高い効率を達成することを目的としている。しかし、既存のSSMは入力適応性と制限されたメモリ容量に悩まされ、超長いシーケンスをモデル化する際に情報損失が発生する。この制限に対処するため,Mixture-of-Memory-Experts (MoE) 機構を統合した線形変換器であるMixFormerを提案する。具体的には、複数のメモリ専門家によって異なるメモリ状態を維持し、学習可能な指数減衰関数と位置バイアスを利用して動的にメモリを更新する、新しい時間認識線形注意機構(TALA)を採用している。この設計により、メモリ希釈を効果的に緩和しつつ、重要な履歴情報を選択的に強化し、長距離依存性モデリングを大幅に改善することができる。長いシーケンスのテキストと画像生成タスクの実験は、MixFormerが大きなパフォーマンス向上を達成するだけでなく、次世代のWebインフラに対してより持続可能な計算バックボーンを提供することを示した。

関連論文リスト

Flash PD-SSM: Memory-Optimized Structured Sparse State-Space Models [62.362971723881095]
状態空間モデル(SSM)は効率性と表現性の間に根本的なトレードオフに直面している。我々はFlash PD-SSMを提案する。これは、広く使われている構造化SSMに匹敵するスループットを実現し、表現性を保証する。我々は、Flash PD-SSMが競合するSSM法の中で新しい最先端(SoTA)の精度を定義していることを示す。
論文参考訳（メタデータ） (2026-05-18T22:06:33Z)
Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models [3.740517574718329]
本稿では,垂直チャンクサイズを超えると入力長が一定になるメモリ使用量で高速な埋め込み生成を可能にする縦チャンク推論戦略を提案する。 Mamba2モデルを微調整することにより、汎用テキスト埋め込みとしての有効性を実証する。 Mamba2、RWKV、xLSTMモデルへの推論戦略の適用性を実証的に検証し、アーキテクチャ間の一貫したランタイムメモリトレードオフを確認する。
論文参考訳（メタデータ） (2026-04-20T12:50:15Z)
Memory Caching: RNNs with Growing Memory [56.25483647131372]
メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
論文参考訳（メタデータ） (2026-02-27T18:53:41Z)
MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。 1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
論文参考訳（メタデータ） (2026-02-12T09:37:05Z)
MoVE: Mixture of Value Embeddings -- A New Axis for Scaling Parametric Memory in Autoregressive Models [0.9222161299777548]
我々は,モデルキャパシティの剛性構造結合を計算コストに分解するメカニズムである$textbfMoVE (Mixture of Value Embeddings)$を紹介した。 MoVEは、すべての注目層間で共有される学習可能な値埋め込みのグローバルバンクを導入することで、メモリを計算から切り離す。自動回帰モデリングの2つの代表的応用であるテキスト生成と画像生成に関する厳密に制御された実験を通してMoVEを検証する。
論文参考訳（メタデータ） (2026-01-30T12:07:23Z)
MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling [60.648359990090846]
状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。本稿では,複数の解像度にまたがるシーケンスダイナミクスを表現するマルチスケールSSMフレームワークを提案し,各解像度を特殊な状態空間ダイナミクスで処理する。
論文参考訳（メタデータ） (2025-12-29T19:36:28Z)
MemMamba: Rethinking Memory Patterns in State Space Model [6.537535831000493]
マンバのような選択的状態空間モデルは O(n) 時間と O(1) 繰り返しの推論で高い効率性を示すが、その長距離メモリは指数関数的に崩壊する。長文読解時の塩分情報の蒸留・保存方法に着想を得て,MemMambaを提案する。 MemMambaは、長期間のベンチマークで既存のMambaとTransformerよりも大幅に改善されている。
論文参考訳（メタデータ） (2025-09-28T14:40:58Z)
Dynamic Memory-enhanced Transformer for Hyperspectral Image Classification [3.5093938502961763]
ハイパースペクトル画像(HSI)分類は、複雑な空間スペクトル相関のため、依然として困難な課題である。既存のトランスモデルは、長距離依存を捉えるのに優れているが、情報冗長性と注意力の非効率さに悩まされることが多い。 MemFormerは、動的メモリモジュールを反復的に洗練するメモリ強化型マルチヘッドアテンションメカニズムを導入している。動的メモリ富化戦略は、複雑な空間的およびスペクトル的依存関係を段階的にキャプチャし、より表現力のある特徴表現をもたらす。
論文参考訳（メタデータ） (2025-04-17T17:43:34Z)
Recurrent Action Transformer with Memory [39.58317527488534]
本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
論文参考訳（メタデータ） (2023-06-15T19:29:08Z)
Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
論文参考訳（メタデータ） (2023-05-30T19:25:51Z)
Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。