論文の概要: RoLA: Rotary-Positioned Low-Rank Linear Attention for Efficient Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2609.06712v2
• Date: Wed, 09 Sep 2026 08:27:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.298044
• Title: RoLA: Rotary-Positioned Low-Rank Linear Attention for Efficient Diffusion Transformers
• Title（参考訳）: RoLA:効率的な拡散変換器のためのロータリー型低ランクリニアアテンション
• Abstract要約: 緩やかな低ランクハイブリッドは、局所スパースブランチとグローバル圧縮ブランチを組み合わせることで、このコストを軽減する。 再利用可能なリニアサマリーと互換性を維持しつつ,真のクロストークンアグリゲーションを維持するロータリポジションの低ランクリニアアテンションブランチを提案する。 実験の結果、Wan2.B上で2.63$times$ end-to-endの推論速度(NVIDIA H100 GPUで計測された720p,81フレーム)を達成しながら、生成品質の90%で競合する結果が得られた。
• 参考スコア（独自算出の注目度）: 22.383650673776415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformers (DiTs) achieve strong video generation quality, but their dense spatiotemporal self-attention scales quadratically with sequence length and quickly becomes the dominant inference bottleneck. Sparse low-rank hybrids alleviate this cost by combining a local sparse branch with a global compressed branch. In video DiTs equipped with 3D Rotary Position Embeddings (RoPE), the global branch faces a structural compatibility issue: when RoPE is applied before a nonlinear feature map, the rotation and nonlinearity generally do not commute, making it difficult to keep a query-independent linear summary while preserving relative rotary geometry. Existing work often sidesteps this issue by replacing genuine cross-token global aggregation with coordinate-conditioned surrogates or learnable absolute positional modules. These compromises can be effective, but they approximate relative decay from absolute coordinates and introduce extra positional parameters. We propose \textbf{RoLA}, a rotary-positioned low-rank linear-attention branch that keeps genuine cross-token aggregation while remaining compatible with a reusable linear summary. The design applies RoPE \emph{outside} the nonlinear low-rank feature map and reuses a truncated subset of the pre-trained rotary schedule matched to the low-rank bottleneck. This yields a linear-time low-rank global branch with relative positional behavior by design and no additional positional parameters; the full sparse--low-rank module still includes the fixed-sparsity sparse branch. Experiments on open-source video DiTs show that the resulting method remains competitive in generation quality at 90\% sparsity while achieving 2.63$\times$ end-to-end inference speedup on Wan2.1-14B (720p, 81 frames, measured on an NVIDIA H100 GPU).
• Abstract（参考訳）: 拡散変換器(DiTs)は高画質なビデオ生成を実現するが、その密度の時空間自己注意尺度はシーケンス長と2次的に大きくなり、すぐに支配的な推論ボトルネックとなる。 緩やかな低ランクハイブリッドは、局所スパースブランチとグローバル圧縮ブランチを組み合わせることで、このコストを軽減する。 3Dロータリー位置埋め込み(RoPE)を備えたビデオDiTでは、グローバルブランチは、非線形特徴写像の前にRoPEを適用した場合、回転と非線形性は通常は通勤しないため、相対的な回転幾何学を保ちながらクエリ非依存の線形要約を維持することは困難である。 既存の作業は、真のクロストークンなグローバルアグリゲーションを座標条件付きサロゲートや学習可能な絶対位置加群に置き換えることによって、この問題を後押しすることが多い。 これらの妥協は有効であるが、絶対座標からの相対減衰を近似し、余分な位置パラメータを導入する。 再利用可能なリニアサマリーと互換性を維持しつつ、真のクロストークンアグリゲーションを維持するロータリーなリニアアテンションブランチである \textbf{RoLA} を提案する。 この設計は、非線形低ランク特徴写像 RoPE \emph{outside} を適用し、ローランクボトルネックと一致する事前学習された回転スケジュールの切り離された部分集合を再利用する。 これにより、設計による相対的な位置的挙動を持ち、追加の位置的パラメータを持たない線形時間低ランクグローバル分岐が得られる。 オープンソースのビデオDiTsの実験によると、この手法は生成品質が90\%の範囲で競合し、Wan2.1-14B(NVIDIA H100 GPUで測定された720p, 81フレーム)で2.63$\times$ end-to-end推論スピードアップを達成した。

関連論文リスト

• Surflo: Consistent 3D Surface Flow Model with Global State [57.57234680235885]
  Surfloは、方向付けられた3次元表面点を、ノイズからフローマッチングを通じて独立して表面へ輸送することでデコードする。 独立なポイント単位の復号化に固有の局所的不整合を抑制するために、光度勾配を注入することにより、推定時間誘導項が近傍の点と相関する。 Surfloは、サーフェスメトリクスのフィードフォワードベースラインにマッチし、数百のビューを必要とする最適化ベースのメソッドよりも桁違いに高速に動作し、グローバルなラテントと任意の解像度のデコーディングを組み合わせた唯一のフィードフォワードアプローチである。
  論文  参考訳（メタデータ） (2026-06-11T17:48:38Z)
• RoPeSLR: 3D RoPE-driven Sparse-LowRank Attention for Efficient Diffusion Transformers [15.551959210208862]
  Diffusion Transformers (DiTs) は高忠実度ビデオ生成に革命をもたらしたが、その$mathcalO(L2)$ attention complexity は長周期合成の重大なボトルネックとなっている。 3D RoPE誘導Sparse-LowRankアテンションフレームワークである textbfRoPe SLR を提案する。 RoPe SLRはWan2.1-1.3BでのFLOPを最大10ドル、エンドツーエンドの推論スピードアップで2.26ドルである。
  論文  参考訳（メタデータ） (2026-05-20T03:24:50Z)
• U-HNO: A U-shaped Hybrid Neural Operator with Sparse-Point Adaptive Routing for Non-stationary PDE Dynamics [7.23685260715089]
  中心設計はスパースポイント適応ルーティング(SPAR)であるU字型ハイブリッドニューラル演算子U-HNOを提案する。 SPARは階層的なエンコーダ・ブートネック・デコーダのバックボーンに埋め込まれており、スキップ接続により両分岐とゲートが全ての解像度で動作する。 U-HNOは、相対的なL2とH1メトリクスの両方のタスクの大多数において、最先端のロールアウト精度を達成する。
  論文  参考訳（メタデータ） (2026-05-13T04:00:43Z)
• IUP-Pose: Decoupled Iterative Uncertainty Propagation for Real-time Relative Pose Regression via Implicit Dense Alignment v1 [4.987163446489143]
  相対的なポーズ推定は、SLAM、視覚的位置決め、および3D再構成に基本となる。 既存のRPR(Relative Pose Regression)メソッドでは,機能マッチングパイプラインの精度は向上するが,非微分可能なRANSACによるブロック勾配フローが実現されている。 IUP-Poseは、幾何駆動の分離された反復的フレームワークであり、暗黙の密接なアライメントを持つ。
  論文  参考訳（メタデータ） (2026-03-20T04:04:52Z)
• One Attention, One Scale: Phase-Aligned Rotary Positional Embeddings for Mixed-Resolution Diffusion Transformer [48.30024190686566]
  CRPA(Cross-Resolution Phase-Aligned Attention)は、トレーニング不要のドロップイン修正で、ソースでのこの障害を取り除く。 CRPAはトレーニング済みのDiTと完全に互換性があり、すべてのヘッドとレイヤを均一に安定化させる。 CRPAにより高忠実かつ高効率な混合分解能生成が可能であり、画像およびビデオ生成における従来の最先端手法よりも優れることを示す。
  論文  参考訳（メタデータ） (2025-11-24T23:10:15Z)
• Selective Rotary Position Embedding [84.22998043041198]
  テキストインプットに依存した回転型埋め込み機構であるtextitSelective RoPE を導入する。 我々は,問合せキー対上で,これらの回転の隠れ形式を,ソフトマックスアテンションがすでに実行していることを示す。 入力依存回転が言語モデルの性能を向上させることを実証し, ゲートトランスフォーマーにtextitSelective RoPE を組み込むことにより, 本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-11-21T16:50:00Z)
• PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
  ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。 本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。 解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
  論文  参考訳（メタデータ） (2025-11-14T05:56:47Z)
• DoPE: Denoising Rotary Position Embedding [60.779039511252584]
  トランスフォーマーモデルにおける回転位置埋め込み(RoPE)は、長さを弱める固有の限界を持つ。 ノイズのある特徴写像として位置符号化を用いたアテンションマップを再解釈し、位置補間ページ(DoPE)を提案する。 DoPEは、トランカテッド行列エントロピーに基づくトレーニング不要な手法であり、特徴写像における外乱周波数帯域を検出する。
  論文  参考訳（メタデータ） (2025-11-12T09:32:35Z)
• DRoPE: Directional Rotary Position Embedding for Efficient Agent Interaction Modeling [9.86959003425198]
  Directional Rotary Position Embedding (DRoPE) は、もともと自然言語処理で開発されたRotary Position Embedding (RoPE) の新規な適応である。 DRoPEは、RoPEの2次元回転変換に均一なIDスカラーを導入することで制限を克服する。 実験的な評価により、DRoPEの性能は良好であり、空間の複雑さは著しく低下した。
  論文  参考訳（メタデータ） (2025-03-19T09:23:09Z)
• Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
  我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。 本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。 RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
  論文  参考訳（メタデータ） (2023-03-14T20:55:27Z)
• DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
  本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。 本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-01-15T09:31:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。