論文の概要: TriTile: Three-Tier Attention for Video Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2610.35706v2
- Date: Tue, 03 Nov 2026 08:03:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.359772
- Title: TriTile: Three-Tier Attention for Video Diffusion Transformers
- Title（参考訳）: TriTile:ビデオ拡散変換器のための3層アテンション
- Abstract要約: 本稿では,3つの近似階層のうちの1つを各タイルに割り当てる,トレーニング不要なアテンション手法TriTileを提案する。
軽量ルータはブロック統計から各層下のタイルのエラーを予測し、十分なエラーを除去したタイルに余分な計算を費やす。
密度の高いフラッシュに関しては、TriTileはWan2.2で23.0-27.6 dB PSNRで1.38-1.83x、HunyuanVideoで34.5-36.0 dBで2.28-2.32x、LTX-2.5で34.1 dBで1.84xを高速化する。
- 参考スコア（独自算出の注目度）: 4.771989951212432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attention over tens of thousands of visual tokens dominates the inference of video diffusion transformers (DiTs). Existing methods reduce this cost through sparsity, low precision, or both, but use a single precision for all kept tiles. We observe that the output error introduced by approximation varies widely across tiles. Many tiles can be skipped with little error, others must be computed but gain little beyond low precision, and a few retain substantial error even at low precision. We present TriTile, a training-free attention method that assigns each tile one of three approximation tiers: skipping it by replacing it with its block means, skimming it in NVFP4, or refining it with NVFP4 residual correction. A lightweight router predicts each tile's error under each tier from block statistics and spends extra compute on a tile only where it removes enough error; a single knob, a price on compute, controls the whole speed-quality trade-off. A fused kernel executes all three tiers in a single pass on the FP4 tensor cores. Over dense FlashAttention, TriTile speeds up generation by 1.38-1.83x on Wan2.2 at 23.0-27.6 dB PSNR, 2.28-2.32x on HunyuanVideo at 34.5-36.0 dB, and 1.84x on LTX-2.5 at 34.1 dB, and in every setting it Pareto-dominates every baseline in speed and PSNR.
- Abstract（参考訳）: 数万の視覚トークンに対する注意が、ビデオ拡散トランスフォーマー(DiT)の推測を支配している。
既存の方法では、このコストを空白、低精度、または両方で削減するが、すべての保持されたタイルに対して単一の精度を使用する。
近似による出力誤差はタイルによって大きく異なる。
多くのタイルは少ない誤差でスキップでき、他のタイルは計算される必要があるが、低い精度ではほとんど得られず、少数のタイルは低い精度でかなりの誤差を保っている。
本稿では,各タイルをブロック手段に置き換えたり,NVFP4でスキミングしたり,あるいはNVFP4残差補正で精製したりして,各タイルを3つの近似階層の1つに割り当てる訓練不要アテンション手法TriTileを提案する。
軽量ルータはブロック統計から各層下のタイルのエラーを予測し、十分なエラーを除去するタイルに余分な計算を費やす。
融合カーネルは、FP4テンソルコア上で1パスで3層全てを実行する。
密度の高いフラッシュに関しては、TriTileはWan2.2で23.0-27.6 dB PSNRで1.38-1.83x、HunyuanVideoで34.5-36.0 dBで2.28-2.32x、LTX-2.5で34.1 dBで1.84xを高速化し、全ての設定においてパレートは速度とPSNRで全てのベースラインを支配している。
関連論文リスト
- FIGFLEX: A Mixed-Precision FP-INT GEMM Accelerator Co-Designed with Low-Bit LLM Quantization [2.4711540429841503]
本稿では,ビット並列データパスが精度低下に応じてスループットを拡大する混合精度加速器FIGFLEXを提案する。
LLaMA-2-7Bでは、FIGFLEXはGPTQ、AWQ、SliM-LLM、AMQ、QuIP#よりも低い3ビットおよび2ビットの平均精度で5.85と8.77のWikiText-2のパープレキシティを実現する。
論文 参考訳（メタデータ） (2026-10-21T21:59:47Z) - LiFT: Loop Flow Transformers [50.488069867161556]
ループフロー変換器(LiFT)は、共有拡散変換器(DiT)コアを繰り返し適用することにより、計算をスケールする。
LiFTは各ステップを1つの回帰目標(モデルの初期推定からフローマッチング目標への直線経路上の点)で訓練する。
256x256のImageNetでは、LiFT-L/2は高密度のDiT-XL/2ベースラインよりもFID 3.34ポイント低い。
論文 参考訳（メタデータ） (2026-10-04T21:11:47Z) - Training-Free Bottleneck Width Planning for Convolutional Autoencoders [1.5990720051907859]
マルチスケールスペクトル速度歪みは、訓練画像からユーザが供給する空間カットに必要なボトルネックチャネルを推定する。
その共分散テール規則は、正則誤差下での共有線形ブロック畳み込みオートエンコーダに対して正確である。
遅延サイズ予測は、非線形パッチ・オートエンコーダ境界に対して0.84%の平均絶対パーセンテージ誤差を有する。
論文 参考訳（メタデータ） (2026-09-25T03:30:00Z) - VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。
V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。
ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文 参考訳（メタデータ） (2026-09-14T16:17:35Z) - UE5M3 FP4 Block Scaling for Stable Language Model Pretraining [6.963061311516306]
NVIDIAのTransformer Engine nvレシピを使用して、約190億トークンのモデルを事前トレーニングします。
Transformer Engine nvと比較して、提案したブロック16レシピは、最終ウィンドウのトレーニング損失が低く、各量子化推論ポリシーの下で、保持された負のログライクな状態として測定された検証損失が低い。
RHTとBF16の最終ブロック免除を共同で除去するネイティブなnv実行アブレーションは、測定されたモデルボディトークンのスループットを21.2%向上させる。
論文 参考訳（メタデータ） (2026-09-02T17:32:07Z) - Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
3次変換器は、極端なメモリと計算効率を提供する。
既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。
3次重みの離散的な更新を表す3次乗法適応を提案する。
論文 参考訳（メタデータ） (2026-08-25T12:15:56Z) - DepthART: Scaling Foundation Monocular Depth to Tiny Models [51.10174763031444]
DepthARTは、様々なシーンにまたがるデバイス上のデプロイメントのためのコンパクトなMDEモデルである。
ゼロショット一般化とメートル法精度の両方において、DepthARTが従来の小さなベースラインを一貫して上回っていることを示す。
また、GTX A6000で347/245 FPS (strict FP32)、Orin NX 8GBで2242/4482ドル、102 FPS (TF32)、Jetson Nano 4GBで15 FPS (FP32) に達したスケーラブルなモデルファミリも提供しています。
論文 参考訳（メタデータ） (2026-07-19T06:54:52Z) - The Gentle Collapse: Distributional Metrics for Continual Learning [7.30570760963699]
本報告では, 真のラベルランク(TLR), 予測信頼度, および, 連続的な忘れを特徴付ける分布の分散度にまたがる6つのソフトマックス由来の指標について紹介する。
CIFAR-100では、これらの指標が正確でない情報を持っている:0%の精度で、Confusion Marginは[0.32, 0.50]のICCにまたがっており、精度は同じである。
損失重みとして使用されるサンプル単位のスコアは、CIFAR-100上の統一経験リプレイ(ER)よりも1.3ポイント少ない。
論文 参考訳（メタデータ） (2026-06-23T20:53:06Z) - VSA: Faster Video Diffusion with Trainable Sparse Attention [38.37291040904089]
ビデオ拡散トランス (DiTs) のスケーリングは、注意質量の大部分が少数の位置に集中しているにもかかわらず、2次元の注意によって制限される。
私たちはこの観察を、トレーニング可能なハードウェア効率の良いスパースアテンションであるVSAに変換し、Emphbothのトレーニングと推論の完全なアテンションを置き換える。
論文 参考訳（メタデータ） (2025-05-19T17:30:13Z) - Speedy MASt3R [68.47052557089631]
MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。
高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。
この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
論文 参考訳（メタデータ） (2025-03-13T03:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。