論文の概要: COREY: A Prototype Study of Entropy-Guided Operator Fusion with Hadamard Reparameterization for Selective State Space Models

• arxiv url: http://arxiv.org/abs/2604.10597v1
• Date: Sun, 12 Apr 2026 12:07:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.125206
• Title: COREY: A Prototype Study of Entropy-Guided Operator Fusion with Hadamard Reparameterization for Selective State Space Models
• Title（参考訳）: COREY:選択状態空間モデルのためのアダマール再パラメータ化によるエントロピー誘導型演算子融合の試作研究
• Authors: Bo Ma, Jinsong Wu, Hongjiang Wei, Weiqi Yan,
• Abstract要約: 状態空間モデル(SSM)は線形時間シーケンスモデルを提供し、長文推論に魅力的なものである。 本稿では,メモリ対応演算子融合とHadamardに基づく特徴再パラメータ化を組み合わせたプロトタイプフレームワークであるCOREYを提案する。 COREYは、プロキシのレイテンシを一貫して低減し、スループットを改善し、未使用および固定深度ベースラインに対するDRAMトラフィックを低減します。
• 参考スコア（独自算出の注目度）: 11.316541559874864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State Space Models (SSMs), represented by the Mamba family, provide linear-time sequence modeling and are attractive for long-context inference. Yet practical deployments remain memory-bandwidth limited because selective state updates are often decomposed into fragmented kernels with repeated intermediate tensor materialization. We present COREY, a prototype framework that combines memory-aware operator fusion with Hadamard-based feature reparameterization. Activation entropy, estimated with fixed-width histograms, is used as a runtime scheduling statistic to place fusion boundaries and choose tile sizes. To regularize heavy-tailed activations, we absorb normalized Hadamard transforms into linear projections, preserving functional equivalence while reducing peak-coordinate concentration. In a controlled prototype study over heavy-tailed SSM activations, COREY consistently reduces proxy latency, improves throughput, and lowers DRAM traffic relative to unfused and fixed-depth baselines. Low-bit results are reported only through a hand-crafted stability proxy and are intended as diagnostic evidence rather than checkpoint-level quality claims. Code repository: https://github.com/mabo1215/COREY_Transformer.git.
• Abstract（参考訳）: 状態空間モデル(SSM)は、Mambaファミリーによって表現され、線形時間シーケンスモデルを提供し、長いコンテキスト推論に魅力的なものである。 しかし、選択的状態更新はしばしば中間テンソル物質化を繰り返した断片化されたカーネルに分解されるため、実際の配置はメモリ帯域幅に制限されている。 本稿では,メモリ対応演算子融合とHadamardに基づく特徴パラメータ化を組み合わせたプロトタイプフレームワークであるCOREYを提案する。 固定幅ヒストグラムで推定される活性化エントロピーは、融合境界を設定しタイルサイズを選択するための実行時スケジューリング統計として使用される。 重み付き活性化を正則化するために、正規化されたアダマール変換を線形射影に吸収し、ピーク座標濃度を減少させながら機能的等価性を保った。 ヘビーテールのSSMアクティベートに関する制御されたプロトタイプでは、COREYはプロキシのレイテンシを一貫して低減し、スループットを改善し、未使用および固定深度ベースラインに対するDRAMトラフィックを低減している。 低ビット結果は手作りの安定性プロキシを通してのみ報告され、チェックポイントレベルのクオリティのクオリティよりも診断証拠として意図されている。 コードリポジトリ: https://github.com/mabo1215/COREY_Transformer.git

関連論文リスト

• Spatial Autoregressive Modeling of DINOv3 Embeddings for Unsupervised Anomaly Detection [15.896078006029475]
  DINOモデルは、教師なし異常検出(UAD)において、最近強力なパフォーマンスを実現したリッチなパッチレベル表現を提供する。 既存のほとんどの手法では、パッチ間の空間的および近傍的な関係を無視して、通常の画像からパッチ埋め込みを抽出し、それらを個別にモデル化する。 本稿では,2次元自己回帰(AR)モデルを用いて,パッチ埋め込み間の空間的および文脈的依存関係を明示的にモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-03T13:30:33Z)
• Robot-DIFT: Distilling Diffusion Features for Geometrically Consistent Visuomotor Control [31.523644271297616]
  一般化可能なロボット操作における重要なボトルネックは、現在の視覚的バックボーンと閉ループ制御の物理的要求との間の構造的ミスマッチである。 我々は,マニフォールド蒸留による推論プロセスから幾何学的情報ソースを分離するフレームワークであるRobot-DIFTを提案する。 凍結拡散教師を決定論的空間意味的特徴ピラミッドネットワーク(S2-FPN)に蒸留することにより、時間的安定性、リアルタイム実行、ドリフトに対する堅牢性を確保しつつ、生成モデルの豊富な幾何学的先行性を維持できる。
  論文  参考訳（メタデータ） (2026-02-12T13:30:24Z)
• LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
  連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。 このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。 LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
  論文  参考訳（メタデータ） (2026-01-30T06:44:33Z)
• Disentangling History and Propagation Dependencies in Cross-Subject Knee Contact Stress Prediction Using a Shared MeshGraphNet Backbone [0.8283940114367679]
  予測の不確実性の主な原因が時間的履歴依存か空間的伝播依存かは、まだ不明である。 OpenSim-FEBioワークフローを使用して、9つの被験者による試行のデータセットを構築した。 ヒストリーエンコーディングを組み込んだモデルは、大域的精度と空間的整合性において、ベースラインMGNとModMGNを大きく上回った。
  論文  参考訳（メタデータ） (2026-01-13T08:15:57Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Network-Optimised Spiking Neural Network for Event-Driven Networking [2.5941336499463383]
  スパイキングニューラルネットワークは、異常検出、ローカルルーティング制御、エッジでの混雑管理など、時間クリティカルなネットワークタスクに適したイベント駆動型計算を提供する。 本稿では,正規化された待ち行列の占有状態と回復資源を符号化したコンパクトな2変数ユニットであるNetwork-Optimized Spiking (NOS)を紹介する。 我々は、データ駆動初期化、リセットシャープネスに基づくホモトピーによる代理段階トレーニング、リソース制約されたデプロイメントのための境界のトポロジによる明確な安定性チェックのガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-09-27T22:31:24Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
  本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。 フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-05T06:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。