論文の概要: DIET: Deletion-response Expert Trimming for Video Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2609.37829v1
• Date: Tue, 29 Sep 2026 15:34:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.690736
• Title: DIET: Deletion-response Expert Trimming for Video Diffusion Transformers
• Title（参考訳）: DIET:ビデオ拡散変換器の削除応答エキスパートトリミング
• Abstract要約: DIETは、削除応答に基づくトレーニングフリーのエキスパートプルーニングフレームワークである。 LingBot-Video 30B-A3Bでは、専門家の50%のプルーニングによって、チェックポイントが57GBから30GBに削減され、微調整なしで48GBのGPU上でシングルカードのデプロイが可能になる。
• 参考スコア（独自算出の注目度）: 30.524346108268578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video diffusion transformers (DiTs) increasingly adopt mixture-of-experts (MoE) architectures to reduce active computation, but their full expert storage remains costly. Existing one-shot pruning criteria mainly rely on static activation or routing statistics and cannot capture layer-level re-routing after expert deletion. We introduce DIET, a training-free expert pruning framework based on deletion responses. A single all-expert calibration pass records expert outputs and router states for matched conditional and unconditional tokens. Candidate deletions are then replayed from cached tensors, requiring no additional model forward passes. The resulting deletion-response signatures characterize each expert by the changes induced when it is removed. DIET selects retained experts by minimizing Overall Diversity Loss (ODL), which preserves directional coverage in signature space, and combines intra-layer local search with an inter-layer regression-guided budget search to allocate experts across layers. On LingBot-Video 30B-A3B, pruning 50% of experts (6,144 to 3,072) reduces the checkpoint from 57 GB to 30 GB and enables single-card deployment on a 48 GB GPU without fine-tuning. Under a fixed 284-case VBench protocol, the VBench Total increases from 0.7941 to 0.8115. Across tested retention budgets, DIET consistently outperforms competitive pruning baselines adapted from large language models.
• Abstract（参考訳）: ビデオ拡散トランスフォーマー(DiT)は、アクティブな計算を減らすためにMixix-of-experts(MoE)アーキテクチャを採用するが、そのフルエキスパートストレージはコストがかかる。 既存のワンショットプルーニング基準は主に静的アクティベーションやルーティング統計に依存しており、専門家の削除後のレイヤレベルの再ルーティングをキャプチャすることはできない。 削除応答に基づくトレーニングフリーのエキスパートプルーニングフレームワークであるDIETを紹介する。 条件付きおよび条件なしのトークンに対して、専門家の出力とルータの状態を記録する。 候補削除はキャッシュされたテンソルからリプレイされ、追加のモデルフォワードパスが不要になる。 結果として生じる削除応答シグネチャは、削除時に引き起こされた変更によって、各専門家を特徴づけます。 DIETは、シグネチャ空間の方向カバレッジを保持するODLを最小化し、層内局所探索と層間回帰誘導型予算探索を組み合わせて、層間の専門家を割り当てることにより、保持された専門家を選定する。 LingBot-Video 30B-A3Bでは、専門家(6,144名から3,072)の50%が、チェックポイントを57GBから30GBに削減し、微調整なしで48GBのGPU上でシングルカードのデプロイを可能にする。 固定284ケースのVBenchプロトコルでは、VBench Totalは0.7941から0.8115に増加する。 テストされた保持予算全体において、DIETは大きな言語モデルから適応した競争力のあるプルーニングベースラインを一貫して上回っている。

関連論文リスト

• Does the VGGT Family Need All Its Layers? [55.81487806596663]
  VGGT,3ドル,VGGT-$:3,018プルーニング構成における層冗長性について検討した。 取り外し可能な層が2つの冗長領域に集結しているのに対して、層間をまたがる削除は、常に破壊的である。 CKAは、間隔分解のためのより安価な表現ベースのプロキシを提供し、プルーニング品質とキャリブレーションコストのトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-09-29T06:52:07Z)
• BASE: Batch-Aware Selection of Experts Using Predicted Removal Error for Efficient MoE Decoding [13.806111695734716]
  大規模言語モデルはますます高価になる。 大規模サービスシステムでは、モデル重みの転送によって自己回帰復号化がボトルネックとなることが多い。 入力トークン毎のエキスパート除去コストを推定する軽量線形予測器を開発した。
  論文  参考訳（メタデータ） (2026-09-28T20:20:13Z)
• RAZOR: Pruning Replaceable Experts in LLMs [19.95776080082138]
  完全熟練プルーニングはプールを縮小するが、推論モデルの場合、推論能力を損なうことなく専門家を排除しなければならない。 RAZORは,コンセンサス残量から置き換え可能性を評価する学習自由度法である。 RAZORは評価プルーニング法のうち,9つの推論中心タスクで最大マクロ平均を達成した。
  論文  参考訳（メタデータ） (2026-09-24T19:02:55Z)
• DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
  ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。 直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。 メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
  論文  参考訳（メタデータ） (2026-09-23T03:06:01Z)
• RAPTOR: Role-Aware Private Training for Mixture-of-Experts [68.5626338219096]
  RAPTORはRole-Aware Private Trainingフレームワークである。 RAPTORは共有と専門家の最適化を交互に行い、各障害を直接ターゲットする。 GLUEタスク間でのSwitch TransformerとOLMoEの微調整およびDeepSeek-VL2-Tinyの実験では、標準のDPベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-09-04T23:16:12Z)
• Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models [3.749501286035187]
  再正規化は暗黙的に専門家のアウトプットゲインをトレーニングのトップ$k$に校正することを示す。 再正常化を完全に除去することは破滅的であり、適切な基準質量を維持することが重要であることを示す。
  論文  参考訳（メタデータ） (2026-09-04T00:11:28Z)
• Meta-Learning Where to Allocate Experts: Task-Conditioned Layer-Wise Compression for MoEs [8.622261628194893]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家ネットワークのサブセットにルーティングし、トークンごとのスパースを維持しながらキャパシティを増大させる。 本稿では,各レイヤに対して,専門家保持閾値と有界ルーティングバイアスを予測可能なサポートセットコントローラであるMetaNetを提案する。
  論文  参考訳（メタデータ） (2026-08-27T06:01:46Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• FinerCut: Finer-grained Interpretable Layer Pruning for Large Language Models [54.787308652357794]
  FinerCutは変圧器ネットワークのための微細な層プルーニングの新たな形式である。 Llama3-8Bは25%の層を除去し,Llama3-70Bは95%の層を除去した。
  論文  参考訳（メタデータ） (2024-05-28T14:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。