論文の概要: Shiva-DiT: Residual-Based Differentiable Top-$k$ Selection for Efficient Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2602.05605v1
• Date: Thu, 05 Feb 2026 12:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.928963
• Title: Shiva-DiT: Residual-Based Differentiable Top-$k$ Selection for Efficient Diffusion Transformers
• Title（参考訳）: Shiva-DiT: 効率的な拡散変換器の残留型微分可能Top-k$選択
• Authors: Jiaji Zhang, Hailiang Zhao, Guoxuan Zhu, Ruichao Sun, Jiaju Wu, Xinkui Zhao, Hanlin Tang, Weiyi Lu, Kan Liu, Tao Lan, Lin Qu, Shuiguang Deng,
• Abstract要約: DiT(Diffusion Transformer)は、自己注意の2次スケーリングによる計算コストの削減を図っている。 既存のプルーニング手法は、ハードウェアオーバーヘッドに必要とされる差別性、効率、厳格な静的予算を同時に満たさない。 そこで我々は,これらの矛盾する要件を,Residual-Based Differentiable Top-$k$ Selectionを通じて効果的に解決するShiva-DiTを提案する。
• 参考スコア（独自算出の注目度）: 18.64123131977861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformers (DiTs) incur prohibitive computational costs due to the quadratic scaling of self-attention. Existing pruning methods fail to simultaneously satisfy differentiability, efficiency, and the strict static budgets required for hardware overhead. To address this, we propose Shiva-DiT, which effectively reconciles these conflicting requirements via Residual-Based Differentiable Top-$k$ Selection. By leveraging a residual-aware straight-through estimator, our method enforces deterministic token counts for static compilation while preserving end-to-end learnability through residual gradient estimation. Furthermore, we introduce a Context-Aware Router and Adaptive Ratio Policy to autonomously learn an adaptive pruning schedule. Experiments on mainstream models, including SD3.5, demonstrate that Shiva-DiT establishes a new Pareto frontier, achieving a 1.54$\times$ wall-clock speedup with superior fidelity compared to existing baselines, effectively eliminating ragged tensor overheads.
• Abstract（参考訳）: DiT(Diffusion Transformer)は、自己注意の2次スケーリングによる計算コストの削減を図っている。 既存のプルーニング手法は、ハードウェアオーバーヘッドに必要とされる差別性、効率、厳格な静的予算を同時に満たさない。 そこで我々は,これらの矛盾する要件をResidual-Based Differentiable Top-$k$ Selectionを通じて効果的に解決するShiva-DiTを提案する。 本手法は,残差勾配推定によるエンドツーエンドの学習性を保ちながら,静的コンパイルにおける決定論的トークン数を適用する。 さらに,適応型プルーニングスケジュールを自律的に学習するために,コンテキスト対応ルータと適応比ポリシを導入する。 SD3.5を含むメインストリームモデルの実験では、Shiva-DiTが新しいパレートフロンティアを確立し、既存のベースラインよりも優れた忠実さで1.54$\times$ウォールクロックのスピードアップを実現し、引きずりのテンソルオーバーヘッドを効果的に排除した。

関連論文リスト

• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• FREE: Uncertainty-Aware Autoregression for Parallel Diffusion Transformers [12.17745708847535]
  FREEは、並列検証で機能レベルの自動回帰を実行するために軽量なドラフトラを使用する、新しいフレームワークである。 ImageNet-$5122$の実験では、FREEは最大1.86倍の加速を実現し、FREE(relax)はさらに2.25倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-11-25T15:12:10Z)
• T3: Test-Time Model Merging in VLMs for Zero-Shot Medical Imaging Analysis [15.624549727053475]
  既存のモデルマージ技術は、様々な医学的手段で一貫した利益をもたらすことができません。 サンプル単位の係数を計算するバックプロパゲーションフリーフレームワークであるTest-Time Task Adaptive merging (T3)を導入する。 ドメイン内、ベース・ツー・ノーベル、および4つのモダリティにまたがる汚職にまたがる厳密な相互評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-10-31T08:05:40Z)
• e1: Learning Adaptive Control of Reasoning Effort [88.51897900019485]
  AIモデルの思考予算の増大は、精度を大幅に向上させるが、すべての質問が同じ量の推論を保証しているわけではない。 ユーザは、アウトプットの品質を、レイテンシやコストに対してどのように評価するかによって、さまざまな理由付けの労力を割り当てる傾向があります。 本稿では,ユーザが指定したトークン数を用いてモデルを学習する自己適応型強化学習手法であるAdaptive Effort Controlを提案する。
  論文  参考訳（メタデータ） (2025-10-30T23:12:21Z)
• MAESTROCUT: Dynamic, Noise-Adaptive, and Secure Quantum Circuit Cutting on Near-Term Hardware [0.0]
  MaestroCutは、分散プロキシをリアルタイムで追跡し、精度が低下した時に再カットをトリガーし、トポロジ対応のプリエントを使用してショットをルーティングする。 Tier-1シミュレーションは、一貫した分散収縮と、一様および比例基底線に対する平均二乗誤差の低減を示す。 リアルなキューとノイズによるTier-2エミュレーションは、ストレスシナリオ下で安定したレイテンシターゲット、高い信頼性、1%のソフトウェアオーバーヘッドを示す。
  論文  参考訳（メタデータ） (2025-08-31T12:01:16Z)
• SADA: Stability-guided Adaptive Diffusion Acceleration [24.250318487331228]
  拡散モデルは生成的タスクにおいて顕著な成功を収めたが、高い計算コストに悩まされている。 既存のトレーニングフリー加速戦略は、ステップごとの計算コストを削減しつつ、サンプリング時間を効果的に削減し、信頼性を低下させる。 本稿では, ODE に基づく生成モデルのサンプリングを高速化する新しいパラダイムとして, 安定誘導型適応拡散加速法 (SADA) を提案する。
  論文  参考訳（メタデータ） (2025-07-23T02:15:45Z)
• Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels [24.314013749328677]
  本研究では,レスレスマルチアームバンド (RMAB) における資源配分について,未知および非定常力学の下で検討する。 我々は,時変カーネルに適応しながら計算効率を保ちながら,スライディング・ウィンドウ・オンラインウィトル (SW-Whittle) ポリシーを提案する。 我々のアルゴリズムは一貫してベースラインを上回り、様々な非定常環境において最も低い累積的後悔を達成している。
  論文  参考訳（メタデータ） (2025-06-22T22:04:52Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
  本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。 我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。 また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-21T00:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。