論文の概要: Balanced State Subspaces for Mamba-2 State Compression

• arxiv url: http://arxiv.org/abs/2610.36617v1
• Date: Tue, 27 Oct 2026 04:21:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.481555
• Title: Balanced State Subspaces for Mamba-2 State Compression
• Title（参考訳）: Mamba-2状態圧縮のための平衡状態部分空間
• Abstract要約: Mamba-2は、すべてのコンテキストをデコードメモリと帯域幅を支配する固定サイズのリカレント状態に圧縮する。 本稿では,バランスの取れたトランケーションを完全な制御性と可観測性を持つグラミアンでインスタンス化するポストトレーニング変換を提案する。 有用なランクは層によって大きく異なるため、さらにハンケルスペクトルから各層にランクを割り当てるHARPを導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mamba-2 compresses all context into a fixed-size recurrent state that dominates decoding memory and bandwidth. Existing compressors quantize state values or prune state coordinates, scoring each channel independently in the native basis. We examine trained Mamba-2 states and find that energy is almost rank-one, but the output does not read the energetic directions: energy concentrates in a bias-like direction accumulated by the recurrence, while the content the output reads lives in a low-dimensional subspace that is not aligned with the state's coordinates. Even output-aware scores are computed coordinate by coordinate, so they miss the directions that determine the input--output map. Compression should therefore target the write--read subspace rather than individual coordinates. We propose \method{}, a post-training transform that instantiates balanced truncation with full controllability and observability Gramians and applies the rotation exactly via Mamba-2's scalar-identity transition. Because the useful rank varies widely across layers, we further introduce HARP, which allocates ranks per layer from the Hankel spectrum and protects retrieval-sensitive layers, improving both perplexity and retrieval over uniform budgets. Calibration takes a single forward pass, an order of magnitude faster than GHOST's released protocol, with lower peak memory. With HARP, \method{} halves the state dimension at an average WikiText-2 perplexity increase of $0.3$ points ($1.8\%$) across 130M--2.7B, versus $1.6$ ($9.3\%$) for GHOST, and the gap widens at 25\% retention.
• Abstract（参考訳）: Mamba-2は、すべてのコンテキストをデコードメモリと帯域幅を支配する固定サイズのリカレント状態に圧縮する。 既存の圧縮機は状態値やプルー状態座標を定量化し、各チャネルをネイティブベースで独立にスコア付けする。 エネルギーは再帰によって蓄積されるバイアスのような方向に集中し、出力が読み出す内容は状態座標に整合しない低次元の部分空間で生活する。 出力対応スコアも座標で計算されるので、入力出力マップを決定する方向を見逃してしまう。 我々は,バランスの取れたトランケーションを完全な可制御性と可観測性を持つグラミアンでインスタンス化し,Mamba-2のスカラー・アイデンティティ・トランジションを通した回転を正確に適用するポストトレーニング変換である‘method{} を提案する。 有用なランクは層によって大きく異なるため、HARPはハンケルスペクトルから各層にランクを割り当て、検索に敏感な層を保護し、均一な予算よりも難易度と検索性が向上する。 キャリブレーションは単一のフォワードパスを受け取り、GHOSTがリリースしたプロトコルよりも桁違いに高速で、ピークメモリは低い。 HARP では、 \method{} は平均 WikiText-2 パープレキシティにおける状態次元を 130M--2.7B に対して 0.3$ポイント (1.8\%$) 増加させ、GHOST は $1.6$ (9.3\%$) 増加させ、ギャップは 25\% に拡大する。

関連論文リスト

• Hamiltonian JEPA: Action-Conditioned World Models with an Inherited Control State [49.52703800684483]
  ピクセルからの計画には、安定かつ予測可能な潜在空間以上のものが必要である。 統合埋め込み予測アーキテクチャ(JEPA)は、将来の表現を予測することでピクセル再構成を避ける。 我々はこの2つを分離するH-JEPAを紹介する。
  論文  参考訳（メタデータ） (2026-09-27T12:05:41Z)
• Scale-Vector Alignment: A Scale-Aware Framework for Spatially Resolved Morphological Similarity in Astronomical Images [1.1899559337707113]
  本稿では,CDD(Constrained Diffusion Decomposition)に基づくスケールアライメント手法であるスケールベクターアライメントを提案する。 2つの局所スケールベクトルの正規化アライメントとして、ピクセル単位の類似性を $Spix(x,y)$ と定義する。 また、空間スケールの2つのCDDマップを比較することにより、スケールワイド類似度 $Spix(x,l)$ も定義する。
  論文  参考訳（メタデータ） (2026-09-21T09:03:14Z)
• Phase information beyond entanglement sudden death in coherence-to-entanglement conversion under post-gate noise [1.028961895672321]
  理想的な CNOT は、コヒーレント量子ビットの位相を2量子状態の $ket00$ と $ket11$ のコヒーレンスにマッピングする。 ポストゲートノイズがこれらの2つの量をどのように劣化させるのかを尋ねると、それらが一緒に失われていないことが分かる。
  論文  参考訳（メタデータ） (2026-08-15T11:08:57Z)
• DART: Decoded Attention over Recurrent States for Efficient Long-Context Sequence Modeling [8.96129547422103]
  本稿では,共有メモリ表現が繰り返し圧縮と注目スタイル検索の両方をサポートするかどうかを検討する。 本研究では,チャンク状態記憶としてMamba-2チャンクスキャンによって生成されたチャンク状態のコントリビューションを保持するDARTを提案する。 Mamba-2と比較して、DARTは一般的な言語モデリングの品質を維持しながら、連想的リコールと検索を大幅に改善する。
  論文  参考訳（メタデータ） (2026-08-03T10:30:27Z)
• FibQuant: Universal Vector Quantization for Random-Access KV-Cache Compression [35.73320708128261]
  固定レートベクトル量子化器のtextscFibQuant を導入する。 コードブックにはBeta-quantile radii, Fibonacci,/,Roberts--Kronecker quasi-Max が組み合わされている。 GPT-2の小さなKVキャッシュでは、textscFibQuantはメモリ-フィデリティフロンティアをトレースする。
  論文  参考訳（メタデータ） (2026-05-12T03:45:53Z)
• GHOST: Unmasking Phantom States in Mamba2 via Grouped Hidden-state Output-aware Selection & Truncation [9.383368705986237]
  Mamba2の拡張された状態次元は、自動回帰生成中に帯域幅を飽和させるかなりの推測オーバーヘッドを引き起こす。 標準的なプルーニング手法では、このボトルネックに対処できない。 GHOSTは,フォワードパス統計量のみを用いて制御理論とバランスの取れたトランケーションを近似する構造化プルーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-02-11T22:20:10Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• PCDVQ: Enhancing Vector Quantization for Large Language Models via Polar Coordinate Decoupling [53.91873442457923]
  ベクトル量子化(VQ)は、非常に低ビット(2ビットでも)で精度の高いこの問題に対する一般的な解決策である。 本稿では,効率的なVQフレームワークであるPola Coordinate Decoupled Vector Quantization (PCDVQ)を提案する。 実験の結果、PCDVQは2ビットレベルのベースライン法を少なくとも1.5%ゼロショット精度で上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-06-05T08:58:58Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
  我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。 この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。 これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
  論文  参考訳（メタデータ） (2021-12-27T14:05:41Z)
• Fast and Robust Comparison of Probability Measures in Heterogeneous Spaces [62.35667646858558]
  本稿では, アンカー・エナジー (AE) とアンカー・ワッサースタイン (AW) 距離を紹介する。 我々の主な貢献は、素案実装が立方体となる対数四重項時間でAEを正確に計算するスイープラインアルゴリズムを提案することである。 AE と AW は,一般的な GW 近似の計算コストのごく一部において,様々な実験環境において良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-02-05T03:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。