論文の概要: COREY: Entropy-Guided Runtime Chunk Scheduling for Selective Scan Kernels

• arxiv url: http://arxiv.org/abs/2604.10597v2
• Date: Sat, 18 Apr 2026 23:16:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 13:51:31.003232
• Title: COREY: Entropy-Guided Runtime Chunk Scheduling for Selective Scan Kernels
• Title（参考訳）: COREY: 選択型スキャンカーネルのためのエントロピーガイド型ランタイムチャンクスケジューリング
• Abstract要約: プロトタイプスケジューラは、固定幅ヒストグラムを用いて推定したアクティベーションエントロピーを、チャンクサイズ選択のランタイム信号として利用する。 COREYはConcept and Feasibilityのコントリビューションとして位置づけられている。 この作業には、Tier 2aとTier 2bを接続する完全なエンドツーエンド実行が含まれていない。
• 参考スコア（独自算出の注目度）: 11.316541559874864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mamba selective state space models (SSMs) provide linear-time sequence modeling but are often limited by memory bandwidth in practice, where selective state updates are executed as fragmented kernels with repeated intermediate tensor materialization. We present COREY, a prototype scheduler that uses activation entropy estimated via fixed-width histograms as a runtime signal for chunk-size selection at the kernel-invocation level. COREY is positioned as a Concept and Feasibility contribution: a single-parameter runtime auto-tuner built on an existing Triton selective-scan kernel rather than a new fused implementation. Evidence is organized in three tiers. Tier 1 (Python cost model) shows that entropy-guided grouping reduces surrogate latency and DRAM traffic. Tier 2a (real-checkpoint inline hook) demonstrates that entropy computation and chunk selection can run on the critical path of model.generate(); on Mamba-370M (RTX 3070, n=5), measured overhead is 8.3 percent with full instrumentation and estimated about 2 percent with sparse sampling. Tier 2b (kernel-level scan benchmark) shows that, under a principled calibration where H_ref equals log(K), COREY selects the same chunk as a one-time-profile oracle without offline sweeps and achieves up to 4.41x speedup over static chunk-64. This work does not yet include a fully integrated end-to-end run connecting Tier 2a and Tier 2b, which remains key future work. Across 80 LongBench prompts, entropy distributions are stable, supporting COREY as a practical runtime auto-tuner within a single regime. Code and data: https://github.com/mabo1215/COREY_Transformer/.
• Abstract（参考訳）: マンバ選択状態空間モデル(SSM)は線形時間シーケンスモデルを提供するが、実際にはメモリ帯域幅によって制限されることが多い。 カーネル起動レベルにおけるチャンクサイズ選択のランタイム信号として固定幅ヒストグラムを用いて推定されるアクティベーションエントロピーを利用するプロトタイプスケジューラであるCOREYを提案する。 COREYは概念と実現可能性のコントリビューションとして位置づけられており、新しい融合実装ではなく、既存のトリトン選択スキャンカーネル上に構築された単一パラメータランタイム自動チューニングである。 証拠は3つの階層に分けられる。 Tier 1 (Pythonのコストモデル) は、エントロピー誘導型グルーピングがサロゲート遅延とDRAMトラフィックを減少させることを示している。 Tier 2a (real-checkpoint inline hook) は、エントロピー計算とチャンク選択が Model.generate() のクリティカルパス上で実行できることを示した。 階層2b(カーネルレベルのスキャンベンチマーク)では、H_refがlog(K)と等しい原理的なキャリブレーションの下で、COREYはオフラインのスイープなしでワンタイムのオラクルと同じチャンクを選択し、静的チャンク-64上で最大4.41倍のスピードアップを達成する。 この作業には、Tier 2aとTier 2bを接続する完全なエンドツーエンド実行が含まれていない。 80以上のLongBenchプロンプトでは、エントロピー分布は安定しており、COREYを1つのレシエーション内で実行時のオートチューニングとしてサポートしている。 コードとデータ:https://github.com/mabo1215/COREY_Transformer/。

関連論文リスト

• BoltNet: An Ultra-Lightweight Convolutional Network for On-Device Plant Species Identification [3.860597465886636]
  BoltNetはSpatial Redistribution BottleneckとLogit PreSamplingを組み合わせた超軽量の完全な畳み込みアーキテクチャである。 Pl@ntNet300Kでは、BoltNetは0.682F1スコアに達し、341Kパラメータ(1.37MB)は2MB以下の評価モデルの中で最高である。 BoltNetは最も効率的なモデルであり、GPUとNPUで最高のFPS/W、CPUで2番目に良い。
  論文  参考訳（メタデータ） (2026-08-12T09:34:52Z)
• Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers [54.01042826416009]
  ビジュアル生成には高解像度の画像、長いビデオ、マルチモーダルコンテキストが必要である。 原理的なスケーリングレシピを備えたハイブリッドビジュアル拡散バックボーンであるChimeraを紹介した。 密度の高いバックボーンは、一致したフルアテンションWan2.1 2Bベースラインの1.7倍の計算効率を示す。
  論文  参考訳（メタデータ） (2026-07-30T17:58:02Z)
• Decomposing Runtime, Kernel, and Quantization Speedups via a Matched FP16 Intermediate: A Hardware-Conditioned Case Study on Four NVIDIA RTX A5000 GPUs [0.614481021961242]
  量子化は、再現可能な半精度メモリの崖を約4回通り、同時ユーザを拡張します。 一致した中間スタックは、量子化されたカーネルがフルスピードアップをランタイム部とカーネルと量子化部に分割することなく、高速なランタイムを保持する。 2つのスタック間のサンプリングモードとプロンプトプールの違いは、妥当性の脅威として記録される。
  論文  参考訳（メタデータ） (2026-07-13T10:31:54Z)
• PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs [0.8460698440162889]
  本稿では,ブロックテーブル型デコードアテンションエンジンPersistentKVとページ認識スケジューリング研究について述べる。 Per Per PersistentKVマップはKVヘッドグループによって動作し、ネイティブページテーブル上で直接実行される。 5つのホールドアウト種子は、バイモーダル、均一、Zipfライクなワークロードにおいて、平均壁の復号化スループットを1.04xから1.08x改善することを示した。
  論文  参考訳（メタデータ） (2026-06-25T06:56:43Z)
• StereoFactory: A Unified Merging Framework for Robust Stereo Matching [61.973843344605655]
  ステレオマッチングは、大規模なデータセットでトレーニングされた基礎モデルを通じて進歩しているが、このパラダイムはスケーラビリティのボトルネックに悩まされている。 モデルマージは、ソースチェックポイントが利用可能になった後、特別なモデルからの知識を統合することで、スケーラブルなポストホックな代替手段を提供する。 本稿では,適応モデルマージのための粗大な進化的フレームワークであるStereoFactoryを提案する。
  論文  参考訳（メタデータ） (2026-06-16T03:36:59Z)
• KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators [5.703659894138959]
  生産推定は、不均一な加速器の混合をますます狙う。 それぞれのパイプラインは、増大するハードウェアバックエンドとプログラミングモデルにまたがって、ハイパフォーマンスカーネルを必要としている。 我々は、2つのLLMベースのエージェントによって駆動される反復リファインメントループを中心に構築されたクロスプラットフォームフレームワークであるKForgeを紹介する。
  論文  参考訳（メタデータ） (2026-06-01T23:48:55Z)
• Spatial Autoregressive Modeling of DINOv3 Embeddings for Unsupervised Anomaly Detection [15.896078006029475]
  DINOモデルは、教師なし異常検出(UAD)において、最近強力なパフォーマンスを実現したリッチなパッチレベル表現を提供する。 既存のほとんどの手法では、パッチ間の空間的および近傍的な関係を無視して、通常の画像からパッチ埋め込みを抽出し、それらを個別にモデル化する。 本稿では,2次元自己回帰(AR)モデルを用いて,パッチ埋め込み間の空間的および文脈的依存関係を明示的にモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-03T13:30:33Z)
• Robot-DIFT: Distilling Diffusion Features for Geometrically Consistent Visuomotor Control [31.523644271297616]
  一般化可能なロボット操作における重要なボトルネックは、現在の視覚的バックボーンと閉ループ制御の物理的要求との間の構造的ミスマッチである。 我々は,マニフォールド蒸留による推論プロセスから幾何学的情報ソースを分離するフレームワークであるRobot-DIFTを提案する。 凍結拡散教師を決定論的空間意味的特徴ピラミッドネットワーク(S2-FPN)に蒸留することにより、時間的安定性、リアルタイム実行、ドリフトに対する堅牢性を確保しつつ、生成モデルの豊富な幾何学的先行性を維持できる。
  論文  参考訳（メタデータ） (2026-02-12T13:30:24Z)
• LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
  連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。 このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。 LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
  論文  参考訳（メタデータ） (2026-01-30T06:44:33Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• Disentangling History and Propagation Dependencies in Cross-Subject Knee Contact Stress Prediction Using a Shared MeshGraphNet Backbone [0.8283940114367679]
  予測の不確実性の主な原因が時間的履歴依存か空間的伝播依存かは、まだ不明である。 OpenSim-FEBioワークフローを使用して、9つの被験者による試行のデータセットを構築した。 ヒストリーエンコーディングを組み込んだモデルは、大域的精度と空間的整合性において、ベースラインMGNとModMGNを大きく上回った。
  論文  参考訳（メタデータ） (2026-01-13T08:15:57Z)
• AutoSAGE: Input-Aware CUDA Scheduling for Sparse GNN Aggregation (SpMM/SDDMM) and CSR Attention [52.20940151628735]
  AutoSAGEは入力ごとにタイリングとマッピングを選択するインプット対応スケジューラである。 Reddit OGBN-Productsでは、カーネルレベルの最大4.7倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-11-17T18:25:51Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Network-Optimised Spiking Neural Network for Event-Driven Networking [2.5941336499463383]
  スパイキングニューラルネットワークは、異常検出、ローカルルーティング制御、エッジでの混雑管理など、時間クリティカルなネットワークタスクに適したイベント駆動型計算を提供する。 本稿では,正規化された待ち行列の占有状態と回復資源を符号化したコンパクトな2変数ユニットであるNetwork-Optimized Spiking (NOS)を紹介する。 我々は、データ駆動初期化、リセットシャープネスに基づくホモトピーによる代理段階トレーニング、リソース制約されたデプロイメントのための境界のトポロジによる明確な安定性チェックのガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-09-27T22:31:24Z)
• ATTS: Asynchronous Test-Time Scaling via Conformal Prediction [112.54016379556073]
  大規模な言語モデル(LLM)は、テスト時のスケーリングの恩恵を受けるが、しばしば高い推論遅延によって妨げられる。 統計的に保証された適応スケーリングフレームワークであるATTS(Asynchronous Test-Time Scaling)を紹介する。 ATTSは、テストタイムのスケーリングにおいて最大56.7倍のスピードアップと4.14倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2025-09-18T16:55:09Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Online Dense Point Tracking with Streaming Memory [54.22820729477756]
  デンスポイントトラッキングは、ビデオのかなりの部分を通して、初期フレーム内のすべてのポイントの連続的な追跡を必要とする、困難なタスクである。 最近の点追跡アルゴリズムは、通常、最初のフレームから現在のフレームへの間接的な情報伝達のためにスライドウィンドウに依存する。 我々は、高密度のtextbfPOint textbfTracking とオンラインビデオ処理のための textbfStreaming メモリを備えた軽量で高速なモデルを提案する。
  論文  参考訳（メタデータ） (2025-03-09T06:16:49Z)
• Two-stream Beats One-stream: Asymmetric Siamese Network for Efficient Visual Tracking [54.124445709376154]
  効率的な追跡を行うために,textbfAsymTrack という新しい非対称なシームズトラッカーを提案する。 このアーキテクチャに基づいて、検索機能に重要な手がかりを注入する効率的なテンプレート変調機構を考案する。 実験によると、AsymTrackは異なるプラットフォーム間で、より優れたスピード精度のトレードオフを提供する。
  論文  参考訳（メタデータ） (2025-03-01T14:44:54Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
  本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。 フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-05T06:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。