論文の概要: Triage: Skip, Skim, or Refine Attention Tiles in Video Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2610.35706v1
• Date: Mon, 26 Oct 2026 16:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.107959
• Title: Triage: Skip, Skim, or Refine Attention Tiles in Video Diffusion Transformers
• Title（参考訳）: ビデオ拡散変換器における注意点のトリアージ
• Abstract要約: 本稿では,3つの近似階層のうちの1つを各タイルに割り当てる学習自由注意法であるTriageを提案する。 軽量ルータはブロック統計から各階層のタイル誤差を予測する。 Wan2.2、HunyuanVideo、LTX-2.5の他、Triageは高密度FlashAttentionで最大2.32倍のエンドツーエンド生成を高速化する。
• 参考スコア（独自算出の注目度）: 4.771989951212432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention over tens of thousands of visual tokens dominates the inference of video diffusion transformers (DiTs). Existing methods reduce this cost through sparsity, low precision, or both, but use a single precision for all kept tiles. We observe that the output error introduced by approximation varies widely across tiles. Many tiles can be skipped with little error, others must be computed but gain little beyond low precision, and a few retain substantial error even at low precision. We present Triage, a training-free attention method that assigns each tile one of three approximation tiers: skipping it by replacing it with its block means, skimming it in NVFP4, or refining it with NVFP4 residual correction. A lightweight router predicts each tile's error under each tier from block statistics and moves a tile to a more accurate tier only when the predicted error reduction justifies the extra compute, with a single price setting this trade-off. A fused kernel executes all three tiers in a single pass on the FP4 tensor cores of RTX Blackwell GPUs. Across Wan2.2, HunyuanVideo, and LTX-2.5, Triage accelerates end-to-end generation by up to 2.32x over dense FlashAttention, and in each of five settings it runs faster than every baseline while reaching 0.3-3.0 dB higher PSNR than the highest-PSNR baseline.
• Abstract（参考訳）: 数万の視覚トークンに対する注意が、ビデオ拡散トランスフォーマー(DiT)の推測を支配している。 既存の方法では、このコストを空白、低精度、または両方で削減するが、すべての保持されたタイルに対して単一の精度を使用する。 近似による出力誤差はタイルによって大きく異なる。 多くのタイルは少ない誤差でスキップでき、他のタイルは計算される必要があるが、低い精度ではほとんど得られず、少数のタイルは低い精度でかなりの誤差を保っている。 本稿では,3つの近似層のうち,各タイルをブロック手段に置き換えたり,NVFP4でスキミングしたり,あるいはNVFP4残差補正で精製したりすることで,各タイルを1つずつ割り当てるトレーニングフリーアテンション手法であるTriageを提案する。 軽量ルータはブロック統計から各層下の各タイルエラーを予測し、予測されたエラー低減が余分な計算を正当化した場合のみ、タイルをより正確なティアに移動させる。 融合カーネルはRTX Blackwell GPUのFP4テンソルコア上で1パスで3層全てを実行する。 Wan2.2、HunyuanVideo、LTX-2.5にまたがって、Triageは高密度のFlashAttentionで最大2.32倍のエンドツーエンド生成を高速化し、5つの設定でPSNRよりも0.3-3.0dB高いPSNRを達成した。

関連論文リスト

• FIGFLEX: A Mixed-Precision FP-INT GEMM Accelerator Co-Designed with Low-Bit LLM Quantization [2.4711540429841503]
  本稿では,ビット並列データパスが精度低下に応じてスループットを拡大する混合精度加速器FIGFLEXを提案する。 LLaMA-2-7Bでは、FIGFLEXはGPTQ、AWQ、SliM-LLM、AMQ、QuIP#よりも低い3ビットおよび2ビットの平均精度で5.85と8.77のWikiText-2のパープレキシティを実現する。
  論文  参考訳（メタデータ） (2026-10-21T21:59:47Z)
• LiFT: Loop Flow Transformers [50.488069867161556]
  ループフロー変換器(LiFT)は、共有拡散変換器(DiT)コアを繰り返し適用することにより、計算をスケールする。 LiFTは各ステップを1つの回帰目標(モデルの初期推定からフローマッチング目標への直線経路上の点)で訓練する。 256x256のImageNetでは、LiFT-L/2は高密度のDiT-XL/2ベースラインよりもFID 3.34ポイント低い。
  論文  参考訳（メタデータ） (2026-10-04T21:11:47Z)
• Training-Free Bottleneck Width Planning for Convolutional Autoencoders [1.5990720051907859]
  マルチスケールスペクトル速度歪みは、訓練画像からユーザが供給する空間カットに必要なボトルネックチャネルを推定する。 その共分散テール規則は、正則誤差下での共有線形ブロック畳み込みオートエンコーダに対して正確である。 遅延サイズ予測は、非線形パッチ・オートエンコーダ境界に対して0.84%の平均絶対パーセンテージ誤差を有する。
  論文  参考訳（メタデータ） (2026-09-25T03:30:00Z)
• VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
  トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。 V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。 ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
  論文  参考訳（メタデータ） (2026-09-14T16:17:35Z)
• UE5M3 FP4 Block Scaling for Stable Language Model Pretraining [6.963061311516306]
  NVIDIAのTransformer Engine nvレシピを使用して、約190億トークンのモデルを事前トレーニングします。 Transformer Engine nvと比較して、提案したブロック16レシピは、最終ウィンドウのトレーニング損失が低く、各量子化推論ポリシーの下で、保持された負のログライクな状態として測定された検証損失が低い。 RHTとBF16の最終ブロック免除を共同で除去するネイティブなnv実行アブレーションは、測定されたモデルボディトークンのスループットを21.2%向上させる。
  論文  参考訳（メタデータ） (2026-09-02T17:32:07Z)
• Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
  3次変換器は、極端なメモリと計算効率を提供する。 既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。 3次重みの離散的な更新を表す3次乗法適応を提案する。
  論文  参考訳（メタデータ） (2026-08-25T12:15:56Z)
• DepthART: Scaling Foundation Monocular Depth to Tiny Models [51.10174763031444]
  DepthARTは、様々なシーンにまたがるデバイス上のデプロイメントのためのコンパクトなMDEモデルである。 ゼロショット一般化とメートル法精度の両方において、DepthARTが従来の小さなベースラインを一貫して上回っていることを示す。 また、GTX A6000で347/245 FPS (strict FP32)、Orin NX 8GBで2242/4482ドル、102 FPS (TF32)、Jetson Nano 4GBで15 FPS (FP32) に達したスケーラブルなモデルファミリも提供しています。
  論文  参考訳（メタデータ） (2026-07-19T06:54:52Z)
• The Gentle Collapse: Distributional Metrics for Continual Learning [7.30570760963699]
  本報告では, 真のラベルランク(TLR), 予測信頼度, および, 連続的な忘れを特徴付ける分布の分散度にまたがる6つのソフトマックス由来の指標について紹介する。 CIFAR-100では、これらの指標が正確でない情報を持っている:0%の精度で、Confusion Marginは[0.32, 0.50]のICCにまたがっており、精度は同じである。 損失重みとして使用されるサンプル単位のスコアは、CIFAR-100上の統一経験リプレイ(ER)よりも1.3ポイント少ない。
  論文  参考訳（メタデータ） (2026-06-23T20:53:06Z)
• VSA: Faster Video Diffusion with Trainable Sparse Attention [38.37291040904089]
  ビデオ拡散トランス (DiTs) のスケーリングは、注意質量の大部分が少数の位置に集中しているにもかかわらず、2次元の注意によって制限される。 私たちはこの観察を、トレーニング可能なハードウェア効率の良いスパースアテンションであるVSAに変換し、Emphbothのトレーニングと推論の完全なアテンションを置き換える。
  論文  参考訳（メタデータ） (2025-05-19T17:30:13Z)
• Speedy MASt3R [68.47052557089631]
  MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。 高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。 この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-13T03:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。