論文の概要: Adaptive Visual Autoregressive Acceleration via Dual-Linkage Entropy Analysis

• arxiv url: http://arxiv.org/abs/2602.01345v1
• Date: Sun, 01 Feb 2026 17:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.727146
• Title: Adaptive Visual Autoregressive Acceleration via Dual-Linkage Entropy Analysis
• Title（参考訳）: デュアルリンクエントロピー解析による適応的視覚自己回帰加速
• Authors: Yu Zhang, Jingyi Liu, Feng Liu, Duoqian Miao, Qi Zhang, Kexue Fu, Changwei Wang, Longbing Cao,
• Abstract要約: 我々は,Visual AutoRegressive モデリングのためのトレーニング不要なトークン削減促進フレームワーク NOVA を提案する。 NOVAは、スケールエントロピー成長の屈折点をオンライン同定することにより、推論中のアクティベーションアクティベーションスケールを適応的に決定する。 実験と解析により、NOVAはシンプルで効果的なトレーニングフリー加速フレームワークとして評価される。
• 参考スコア（独自算出の注目度）: 50.48301331112126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual AutoRegressive modeling (VAR) suffers from substantial computational cost due to the massive token count involved. Failing to account for the continuous evolution of modeling dynamics, existing VAR token reduction methods face three key limitations: heuristic stage partition, non-adaptive schedules, and limited acceleration scope, thereby leaving significant acceleration potential untapped. Since entropy variation intrinsically reflects the transition of predictive uncertainty, it offers a principled measure to capture modeling dynamics evolution. Therefore, we propose NOVA, a training-free token reduction acceleration framework for VAR models via entropy analysis. NOVA adaptively determines the acceleration activation scale during inference by online identifying the inflection point of scale entropy growth. Through scale-linkage and layer-linkage ratio adjustment, NOVA dynamically computes distinct token reduction ratios for each scale and layer, pruning low-entropy tokens while reusing the cache derived from the residuals at the prior scale to accelerate inference and maintain generation quality. Extensive experiments and analyses validate NOVA as a simple yet effective training-free acceleration framework.
• Abstract（参考訳）: Visual AutoRegressive Modeling (VAR)は、大量のトークン数を伴うため、かなりの計算コストに悩まされる。 モデリング力学の継続的な進化を考慮せず、既存のVARトークン還元法は、ヒューリスティックステージパーティション、非適応スケジュール、および制限された加速範囲の3つの重要な制限に直面している。 エントロピー変動は本質的に予測の不確実性の遷移を反映しているため、モデリング力学の進化を捉えるための原則的尺度を提供する。 そこで我々は, エントロピー解析によるVARモデルのトレーニング不要なトークン削減促進フレームワークであるNOVAを提案する。 NOVAは、スケールエントロピー成長の屈折点をオンライン同定することにより、推論中のアクティベーションアクティベーションスケールを適応的に決定する。 スケールリンクと層結合率の調整により、NOVAは各スケールと層ごとに異なるトークン還元比を動的に計算し、低エントロピートークンをプルーニングしながら、前のスケールで残余から派生したキャッシュを再利用し、推論を加速し、生成品質を維持する。 大規模な実験と分析により、NOVAはシンプルだが効果的なトレーニングフリー加速フレームワークとして評価される。

関連論文リスト

• StageVAR: Stage-Aware Acceleration for Visual Autoregressive Models [69.07782637329315]
  Visual Autoregressive(VAR)モデリングは、従来のAutoregressive(AR)モデルの次世代予測パラダイムから切り離されている。 既存のアクセラレーション手法は、大規模なステップのランタイムを減らすが、手動のステップ選択に依存し、生成プロセスにおける異なるステージの重要性を軽視する。 本稿では、VARモデルのためのシステム研究および段階認識加速度フレームワークであるStage VARを紹介する。
  論文  参考訳（メタデータ） (2025-12-18T12:51:19Z)
• Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration [67.12978375116599]
  勾配降下(GD)のステップが一般化されたパーセプトロンアルゴリズムのステップに還元されることを示す。 これは、ニューラルネットワークで観測される最適化力学と暗黙の加速現象を説明するのに役立つ。
  論文  参考訳（メタデータ） (2025-12-12T14:16:35Z)
• Plug-and-Play Homeostatic Spark: Zero-Cost Acceleration for SNN Training Across Paradigms [40.57310813106791]
  スパイキングニューラルネットワークは、イベント駆動計算、スパースアクティベーション、ハードウェア効率を提供するが、トレーニングはしばしばゆっくりと収束し、安定性に欠ける。 AHSAR(Adaptive Homeostatic Spiking Activity Regulation)は,超簡易なプラグインおよびトレーニングパラダイムである。 AHSARは最適化を安定化し、モデルアーキテクチャや損失、勾配を変更することなく収束を加速する。
  論文  参考訳（メタデータ） (2025-12-04T17:26:46Z)
• Revisiting Direct Encoding: Learnable Temporal Dynamics for Static Image Spiking Neural Networks [0.0]
  時間的ダイナミクスを欠いた静的画像の処理は、ニューラルネットワーク(SNN)をスパイクする基本的な課題である 直接訓練されたSNNでは、静的な入力は通常、時間ステップにわたって繰り返され、時間次元が表現のような速度に崩壊し、意味のある時間的モデリングを防ぐ。 この研究は、直接符号化とレートベース符号化の報告された性能ギャップを再考し、主に、符号化スキーム自体よりも、畳み込み学習性(convolutional learningability)とシュロゲート勾配の定式化(surrogate gradient formulations)に由来することを示す。
  論文  参考訳（メタデータ） (2025-12-01T13:55:00Z)
• VVS: Accelerating Speculative Decoding for Visual Autoregressive Generation via Partial Verification Skipping [52.58270801983525]
  投機的復号法(SD)は視覚ARモデルの高速化に有効であることが証明されている。 部分的検証スキップによる視覚AR生成を高速化する新しいフレームワークVVSを提案する。
  論文  参考訳（メタデータ） (2025-11-17T16:50:58Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks [3.924071936547547]
  ゲーテッドニューラルネットワーク(RNN)は、適応的な学習速度の振る舞いを暗黙的に誘発する。 効果は状態空間の時間スケールとパラメータ空間のダイナミクスの結合から生じる。 経験的シミュレーションはこれらの主張を裏付ける。
  論文  参考訳（メタデータ） (2025-08-16T18:19:34Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。