論文の概要: Competition Domains Matter: Selective Head Globalization for Training-Free Sparse Attention in Video Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2610.14672v1
• Date: Sat, 10 Oct 2026 07:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 12:21:54.320722
• Title: Competition Domains Matter: Selective Head Globalization for Training-Free Sparse Attention in Video Diffusion Transformers
• Title（参考訳）: 競争領域:ビデオ拡散変換器における訓練不要なスパース注意のための選択的頭部グローバリゼーション
• Abstract要約: EG-Sparseは、低エントロピーヘッドをグループ化されたクロスヘッドプールにルーティングする、トレーニング不要のフレームワークである。 グループ化されたクロスヘッド選択は低エントロピーヘッドの復元誤差を9.8%削減する。 高エントロピーヘッドを全地球プールに強制すると7.9%増加する。
• 参考スコア（独自算出の注目度）: 17.032052551964743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training-free sparse attention is a practical route to efficient video diffusion transformer inference, yet existing methods typically fix the competition domain at each query row for every attention head. Prior work primarily addresses how to estimate token-level importance within this fixed domain; whether the domain itself should adapt to head heterogeneity remains under-specified. We introduce EG-Sparse, a training-free framework that routes low-entropy heads to a grouped cross-head pool while retaining per-row local selection for high-entropy heads, using only scores already materialized by the sparse pipeline. A controlled diagnostic fixes the ranking score and varies only the competition rule: grouped cross-head selection reduces low-entropy-head reconstruction error by 9.8%, whereas forcing high-entropy heads into an all-head global pool increases it by 7.9%. Across four configurations, EG-Sparse achieves higher video quality while reducing attention density and GPU denoising latency compared with strong training-free sparse-attention baselines. Mechanism ablations further show that selective domain adaptation outperforms uniform, random, and fixed domain-assignment policies. These results support competition-domain adaptation as a distinct design axis within centroid-guided training-free sparse attention.
• Abstract（参考訳）: トレーニング不要のスパースアテンションは、効率的なビデオ拡散トランスフォーマー推論のための実用的な方法であるが、既存の手法では、各アテンションヘッドに対して、各クエリ行の競合ドメインを固定する。 以前の作業は、この固定されたドメイン内でトークンレベルの重要性を見積もる方法に主に対処する。 我々は,低エントロピーヘッドをグループ化されたクロスヘッドプールにルーティングする学習自由フレームワークEG-Sparseを紹介する。 グループ化されたクロスヘッド選択は低エントロピーヘッドの復元誤差を9.8%削減し、高エントロピーヘッドを全グローバルプールに強制すると7.9%増加させる。 4つの構成で、EG-Sparseは、トレーニング不要のスパースアテンションベースラインと比較して、注意密度とGPUの遅延を低減しつつ、より高いビデオ品質を達成する。 メカニズムの短縮により、選択的なドメイン適応が一様、ランダム、固定されたドメイン割り当てポリシーより優れていることが示される。 これらの結果は、セントロイド誘導無訓練スパースアテンションにおいて、コンペティションドメイン適応を設計軸として支持する。

関連論文リスト

• A Turn Toward Better Alignment: Few-Shot Generative Adaptation with Equivariant Feature Rotation [67.2019317630466]
  少ない撮影画像生成は、ごく少数の訓練画像を用いて、ソース生成モデルをターゲット領域に効果的に適応することを目的としている。 Equivariant Feature Rotation (EFR) は、ソースドメインとターゲットドメインを2つの相補的なレベルで整列させる新しい適応戦略である。 本手法は,対象領域内の生成性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-12-24T13:48:22Z)
• HFedATM: Hierarchical Federated Domain Generalization via Optimal Transport and Regularized Mean Aggregation [12.655334562608314]
  Federated Learning(FL)は、複数のクライアントが生データを共有せずに、共同で共有グローバルモデルをトレーニングする分散アプローチである。 本稿では階層型フェデレーションドメイン一般化(HFedDG)を紹介する。
  論文  参考訳（メタデータ） (2025-08-07T08:14:52Z)
• Gradient-Guided Annealing for Domain Generalization [5.124256074746721]
  ドメインの一般化効率を向上させるため,GGAアルゴリズムを提案する。 GGAの有効性は、広く受け入れられ、困難な画像分類領域の一般化ベンチマークで評価される。
  論文  参考訳（メタデータ） (2025-02-27T15:01:55Z)
• Guidance Not Obstruction: A Conjugate Consistent Enhanced Strategy for Domain Generalization [50.04665252665413]
  ドメイン内のクラス間での差別的一般化の獲得が不可欠である。 分布の整合性を求めるのとは対照的に、ドメイン関係の階級間差別を保護しようと努力する。 我々は,新たな分布レベルのUniversum戦略を用いて,追加的なドメイン関係のクラス条件分布を生成する。
  論文  参考訳（メタデータ） (2024-12-13T12:25:16Z)
• Contrastive Adversarial Training for Unsupervised Domain Adaptation [2.432037584128226]
  様々なドメイン適応タスクにおいて、ドメイン逆行訓練がうまく採用されている。 大規模なモデルでは、敵のトレーニングがソースドメインに偏りやすく、ターゲットドメインにはほとんど適応しない。 本稿では、ラベル付きソースドメインのサンプルを利用して、ターゲットドメインの機能生成を強化・調整するコントラッシブ・逆行訓練(CAT)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T17:59:21Z)
• Bi-discriminator Domain Adversarial Neural Networks with Class-Level Gradient Alignment [87.8301166955305]
  そこで本研究では,クラスレベルのアライメントアライメントを有するバイディミネータドメイン対向ニューラルネットワークを提案する。 BACGは、領域分布の整合性を改善するために勾配信号と二階確率推定を利用する。 さらに、対照的な学習にインスパイアされ、トレーニングプロセスを大幅に短縮できるメモリバンクベースの変種であるFast-BACGを開発した。
  論文  参考訳（メタデータ） (2023-10-21T09:53:17Z)
• Source-free Unsupervised Domain Adaptation for Blind Image Quality Assessment [20.28784839680503]
  既存の学習ベースのブラインド画像品質評価法(BIQA)は、大量の注釈付きトレーニングデータに大きく依存している。 本稿では,ソースフリーな非教師付きドメイン適応(SFUDA)への第一歩を,シンプルで効率的な方法で進める。 本稿では、BNアフィンパラメータのターゲット領域への適応を導くための、十分に設計された自己教師対象のグループを示す。
  論文  参考訳（メタデータ） (2022-07-17T09:42:36Z)
• Unsupervised Domain Adaptation for Retinal Vessel Segmentation with Adversarial Learning and Transfer Normalization [22.186070895966022]
  本稿では,ソースドメインとターゲットドメイン間の分布差を低減するために,エントロピーに基づく逆学習戦略を提案する。 ディープネットワークの転送性をさらに向上するために,新しい転送正規化層を提案する。 我々の手法は、他の最先端手法と比較して大きな性能向上をもたらす。
  論文  参考訳（メタデータ） (2021-08-04T02:45:37Z)
• Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network [58.05473757538834]
  本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。 3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:47:24Z)
• Discriminative Cross-Domain Feature Learning for Partial Domain Adaptation [70.45936509510528]
  部分的なドメイン適応は、より大きく多様なソースドメインからの知識を、より少ないクラス数でより小さなターゲットドメインに適応させることを目的としています。 ドメイン適応の最近の実践は、ターゲットドメインの擬似ラベルを組み込むことで、効果的な特徴を抽出する。 ターゲットデータを少数のソースデータのみにアライメントすることが不可欠である。
  論文  参考訳（メタデータ） (2020-08-26T03:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。