論文の概要: GHOST: Unmasking Phantom States in Mamba2 via Grouped Hidden-state Output-aware Selection & Truncation

• arxiv url: http://arxiv.org/abs/2602.11408v1
• Date: Wed, 11 Feb 2026 22:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.559216
• Title: GHOST: Unmasking Phantom States in Mamba2 via Grouped Hidden-state Output-aware Selection & Truncation
• Title（参考訳）: GHOST:Mamba2のファントムステートを、グループ化された隠れた状態のアウトプット・アウェア・セレクションとトランニケーションで解き放つ
• Authors: Michael Menezes, Anastasios Kyrillidis,
• Abstract要約: Mamba2の拡張された状態次元は、自動回帰生成中に帯域幅を飽和させるかなりの推測オーバーヘッドを引き起こす。 標準的なプルーニング手法では、このボトルネックに対処できない。 GHOSTは,フォワードパス統計量のみを用いて制御理論とバランスの取れたトランケーションを近似する構造化プルーニングフレームワークである。
• 参考スコア（独自算出の注目度）: 9.383368705986237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Mamba2's expanded state dimension enhances temporal modeling, it incurs substantial inference overhead that saturates bandwidth during autoregressive generation. Standard pruning methods fail to address this bottleneck: unstructured sparsity leaves activations dense, magnitude-based selection ignores runtime dynamics, and gradient-based methods impose prohibitive costs. We introduce GHOST (Grouped Hidden-state Output-aware Selection and Truncation), a structured pruning framework that approximates control-theoretic balanced truncation using only forward-pass statistics. By jointly measuring controllability and observability, GHOST rivals the fidelity of gradient-based methods without requiring backpropagation. As a highlight, on models ranging from 130M to 2.7B parameters, our approach achieves a 50\% state-dimension reduction with approximately 1 perplexity point increase on WikiText-2. Code is available at https://anonymous.4open.science/r/mamba2_ghost-7BCB/.
• Abstract（参考訳）: Mamba2の拡張状態次元は時間的モデリングを強化するが、自動回帰生成時に帯域幅が飽和するかなりの推論オーバーヘッドを引き起こす。 標準的なプルーニング手法では、このボトルネックに対処できない: 構造化されていないスパーシリティは、アクティベーションを高め、マグニチュードベースの選択はランタイムのダイナミクスを無視し、勾配ベースのメソッドは禁止的なコストを課す。 GHOST (Grouped Hidden-state Output-aware Selection and Truncation) は,フォワードパス統計量のみを用いて制御理論的バランストルーテーションを近似する構造化プルーニングフレームワークである。 制御性と可観測性を共同で測定することで、GHOSTはバックプロパゲーションを必要とせず、勾配に基づく手法の忠実さと競合する。 また,130Mから2.7Bまでのモデルでは,WikiText-2で約1パープレキシティポイントが増加し,50\%のステートディメンション削減を実現している。 コードはhttps://anonymous.4open.science/r/mamba2_ghost-7BCB/で公開されている。

関連論文リスト

• TABES: Trajectory-Aware Backward-on-Entropy Steering for Masked Diffusion Models [35.327100592206115]
  Backward-on-Entropy (BoE) Steeringは勾配誘導型推論フレームワークで、無限水平コンテキストを1つの後方パスで近似する。 スケーラビリティを確保するために,マスク対象の構造を利用した疎結合プリミティブであるttexttActiveQueryAttentionを導入し,後方通過の複雑さを低減する。
  論文  参考訳（メタデータ） (2026-01-30T19:10:32Z)
• DeshadowMamba: Deshadowing as 1D Sequential Similarity [85.07259906446588]
  指向性状態遷移を通じてグローバルなコンテキストを伝播する選択状態空間モデルであるMambaを紹介する。 その可能性にもかかわらず、マンバを画像データに直接適用することは、シャドー・ノン・シャドウ・セマンティクスの認識が欠けているため、最適ではない。 我々は,マンバの入力ゲートにシャドウ・アウェアの類似性を注入する方向変調機構であるCrossGateを提案する。 外観の忠実度をさらに高めるために,グローバルな色統計によって駆動される対照的な学習目標であるColorShift正則化を導入する。
  論文  参考訳（メタデータ） (2025-10-28T10:14:23Z)
• ScaleWeaver: Weaving Efficient Controllable T2I Generation with Multi-Scale Reference Attention [86.93601565563954]
  ScaleWeaverは、高度な視覚的自己回帰(VAR)モデルに基づいて、高忠実で制御可能な生成を実現するために設計されたフレームワークである。 提案された参照注意モジュールは image$rightarrow$condition から不要な注意を排除し、計算コストを削減している。 実験によると、ScaleWeaverは、拡散ベースの方法よりも優れた効率を実現しつつ、高品質な生成と正確な制御を提供する。
  論文  参考訳（メタデータ） (2025-10-16T17:00:59Z)
• Sequential Token Merging: Revisiting Hidden States [29.89737086314315]
  Vision Mambas (ViMs) は準四面体複雑性で顕著な成功を収めるが、その効率は画像解像度を伴う二次トークンスケーリングによって制限されている。 本研究では,(1)対称な空間アグリゲーションを通した逐次的依存関係を維持するために,(2)クラストークンの周辺に隠れた状態を安定化するための隠れ状態保護を特徴とするシーケンシャルトークンマージ(STM)を提案する。 本手法は,状態空間モデル力学の新しい知見を提供しながら,最小限の複雑さで最先端の効率を実現する。
  論文  参考訳（メタデータ） (2025-09-19T14:45:01Z)
• SparseSSM: Efficient Selective Structured State Space Models Can Be Pruned in One-Shot [8.080568103779893]
  Mambaのような状態空間言語モデルは、線形複雑性推論を許容しながらTransformerの品質にマッチする。 既存のワンショットプルーニング手法はアテンションブロックに適合し、時間共有および離散化された状態遷移行列を考慮できない。 SparseSSMは、古典的最適な脳外科医(OBS)フレームワークをステートスペースアーキテクチャに拡張した最初のトレーニングフリープルーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-06-11T11:14:57Z)
• ConMamba: Contrastive Vision Mamba for Plant Disease Detection [3.60543005189868]
  植物病検出(PDD)は精密農業の重要な側面である。 既存のディープラーニング手法は、広範に注釈付けされたデータセットに依存していることが多い。 PDD用に特別に設計された新しいフレームワークであるConMambaを提案する。
  論文  参考訳（メタデータ） (2025-06-03T03:01:38Z)
• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Multistep Inverse Is Not All You Need [87.62730694973696]
  実世界の制御環境では、観測空間は不要に高次元であり、時間関連ノイズにさらされることが多い。 したがって、観測空間を制御関連変数のより単純な空間にマッピングするエンコーダを学ぶことが望ましい。 本稿では,多段階逆予測と遅延フォワードモデルを組み合わせた新しいアルゴリズムACDFを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:36:01Z)
• MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models [56.37780601189795]
  本稿では,WSI分析のためのフレームワークMamMILを提案する。 私たちは各WSIを非指向グラフとして表現します。 マンバが1次元シーケンスしか処理できない問題に対処するために、トポロジ対応の走査機構を提案する。
  論文  参考訳（メタデータ） (2024-03-08T09:02:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。