論文の概要: Temporal-Attention Head Specialization During Video Diffusion Training

• arxiv url: http://arxiv.org/abs/2609.31654v2
• Date: Tue, 29 Sep 2026 06:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.140069
• Title: Temporal-Attention Head Specialization During Video Diffusion Training
• Title（参考訳）: ビデオ拡散訓練における時間的アテンションヘッドの特化
• Abstract要約: 我々は,9つのオープンソラSTDiTトレーニングランにまたがる時間的意識のチェックポイント解決調査を実施している。 国勢調査では、平均的な不明瞭な写真が浮かび上がっています。 分析した760万個の頭部のうち、アテンションマップは局所的なフレームレイアウトモチーフの小さなレパートリーに収束する。
• 参考スコア（独自算出の注目度）: 2.4738578465232846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video diffusion transformers depend on temporal attention to coordinate information across frames, yet nearly everything known about this mechanism comes from analyzing trained models, so when and where temporal-attention structure forms during training remains poorly characterized. Population averages can also hide it, since a few specializing heads and a diffusing majority cancel in the mean. We therefore conduct a checkpoint-resolved census of every temporal-attention head across nine Open-Sora STDiT training runs spanning three model scales (306M to 1.03B parameters), scoring each head with an entropy-normalized measure of cross-frame attention concentration (CFAC) under a preregistered change-point and effect-size selection rule. The census reveals the sparse picture that averages obscure. Aggregate CFAC is flat or decreasing in every run, while a small minority of heads, roughly 4--13% in full-grid runs, develops pronounced concentration. Across seeds, the reproducible signal is positional but block-level. Selected heads repeatedly arise in the first temporal block, whereas individual head coordinates do not reproduce once block membership is accounted for. Among the analyzed 760M selected heads, attention maps converge to a small repertoire of local frame-routing motifs, self-frame diagonals and adjacent-frame bands, even when the responsible coordinates differ across runs. Correlation and ablation analyses do not establish a causal link to generated video quality, and we bound our claims accordingly. Beyond this STDiT family, the study contributes a transferable methodology. Checkpoint-resolved, per-head analysis under fixed selection rules can expose sparse temporal organization in other factorized video diffusion transformers and, with adapted routing metrics, in joint spatio-temporal architectures.
• Abstract（参考訳）: ビデオ拡散トランスフォーマーは、フレーム間の情報調整に時間的注意に依存するが、このメカニズムについて知られているほとんど全てのことは、トレーニング中の時間的アテンション構造が生じる時期と場所を解析した結果である。 人口平均は、少数の専門の頭と拡散する多数派が平均をキャンセルしているため、それを隠蔽することもできる。 そこで我々は3つのモデルスケール(306Mから1.03Bパラメータ)にまたがる9つのオープンソラSTDiT訓練において,各頭部を予め登録された変更点と効果サイズ選択規則の下で,横枠注意集中(CFAC)のエントロピー正規化尺度で評価する。 国勢調査では、平均的な不明瞭な写真が浮かび上がっています。 Aggregate CFACは全てのランで平坦または減少し、フルグリッドランで約4～13%の少数の頭が顕著に濃度が上昇する。 種子全体では、再現可能な信号は位置的だがブロックレベルである。 選択されたヘッドは第1の時間ブロックで繰り返し発生するが、個々のヘッド座標はブロックメンバーシップが説明されると再生されない。 分析した 760M 個のヘッドのうち、アテンションマップは、実行中に責任ある座標が異なる場合でも、局所的なフレームルーティングモチーフ、自己フレーム対角線、隣接するフレームバンドの小さなレパートリーに収束する。 相関分析とアブレーション解析は、生成した映像品質に因果関係を確立せず、それに応じてクレームを拘束する。 このSTDiTファミリー以外にも、この研究は伝達可能な方法論に貢献している。 固定された選択規則の下でのチェックポイント分解された頭ごとの分析は、他の分解されたビデオ拡散変換器や、適応されたルーティングメトリクスでスパース時間構造を公開することができる。

関連論文リスト

• Auditing Frame-Level AUC in Weakly Supervised Video Anomaly Detection: Granularity, Resolution, and Scene Bias [5.775466814803881]
  ROC曲線(AUC)下のフレームレベル領域は、弱教師付きビデオ異常検出(WSVAD)の主流評価指標である ソースに関わらず、テストビデオ間でフレームペアを集約するため、この比較をプールAUCと呼ぶ。 異なるバックボーンファミリーにまたがる最近の最先端モデルに対して、UCF-Crime上でこのプロトコルを監査する。
  論文  参考訳（メタデータ） (2026-08-12T12:22:02Z)
• Temporal Backtracking Search for Test-time Generative Video Reasoning [51.4821857044108]
  生成的ビデオ推論は、シングルショットのパラダイムによってボトルネックになっている。 本稿では,検索空間を時間軸にシフトさせるTBS(Temporal Backtracking Search)を提案する。 厳格なアウト・オブ・ディストリビューション設定では、TBSは22.7%を達成し、解決された各エピソードは再起動されたブランチから始まる。
  論文  参考訳（メタデータ） (2026-06-11T19:41:18Z)
• CineOrchestra: Unified Entity-Centric Conditioning for Cinematic Video Generation [57.47993858752813]
  CineOrchestraは、被写体、イベント、カメラ、ショットトランジションを同時に制御する統合ビデオ拡散モデルである。 私たちの重要な洞察は、これらの異質な映画要素が基本的な構造を共有しているということです。 CineOrchestraは、高密度キャプションとショット・トランジションのタイミングで、アクセントあたりのスペシャリスト6人を上回っている。
  論文  参考訳（メタデータ） (2026-06-11T17:59:10Z)
• VigilFormer: Deformable Attention for Video Anomaly Detection with Causal Risk Inference [2.538209532048867]
  本稿では,ビデオ監視映像の異常を検出するために,変形可能な注意と因果時間モデルを組み合わせた統合フレームワークを提案する。 VigilFormer, ShanghaiTech, CUHK Avenueのフレームワークを1つのGPU上で41.5 FPSで評価した。
  論文  参考訳（メタデータ） (2026-05-31T14:27:57Z)
• CaC: Advancing Video Reward Models via Hierarchical Spatiotemporal Concentrating [49.94171749437024]
  本稿では,ビジョンランゲージモデルに基づく粗大な異常報酬モデルである集中と集中(CaC)を提案する。 フレーム単位のバウンディングボックスアノテーション,時間的異常ウィンドウ,微粒な属性ラベルを備えた,最初の大規模ビデオ異常データセットを構築した。 実験では、CaCは微妙な異常に安定して集中することができ、微細な異常ベンチマークの精度が25.7%向上した。
  論文  参考訳（メタデータ） (2026-05-12T08:08:33Z)
• TIE: Time Interval Encoding for Video Generation over Events [50.66585165263848]
  ディレクタースタイルのプロンプト、ロボットアクション予測、インタラクティブなビデオエージェントは、同時イベントに対する時間的根拠を要求する。 現代のビデオジェネレータは、ポイントワイドな位置エンコーディングを通して、タイムを離散的なポイントとして表現する。 Time Interval TIEは、プラグイン・アンド・プレイ・インターバル・アウェアの一般化である。
  論文  参考訳（メタデータ） (2026-05-11T13:23:14Z)
• Coordinate Transformer: Achieving Single-stage Multi-person Mesh Recovery from Videos [91.44553585470688]
  ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。 本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。 3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
  論文  参考訳（メタデータ） (2023-08-20T18:23:07Z)
• Temporal Transductive Inference for Few-Shot Video Object Segmentation [27.140141181513425]
  Few-shot Object segmentation (FS-VOS) は、初期訓練中に見えないクラスのラベル付き例を用いて、ビデオフレームのセグメンテーションを目的としている。 我々のアプローチの鍵は、グローバルな時間的制約とローカルな時間的制約の両方を使用することである。 経験的に、我々のモデルは、YouTube-VIS上の組合間の平均交点を2.8%上回る、最先端のメタラーニングアプローチより優れている。
  論文  参考訳（メタデータ） (2022-03-27T14:08:30Z)
• Convolutional Transformer based Dual Discriminator Generative Adversarial Networks for Video Anomaly Detection [27.433162897608543]
  本稿では,CT-D2GAN(Conversaal Transformer based Dual Discriminator Generative Adrial Networks)を提案する。 これには、入力クリップの空間情報をキャプチャする畳み込みエンコーダ(convolutional encoder)と、時間的ダイナミクスをエンコードして将来のフレームを予測する時間的自己アテンションモジュール(temporal self-attention module)という3つのキーコンポーネントが含まれている。
  論文  参考訳（メタデータ） (2021-07-29T03:07:25Z)
• Few-shot Action Recognition with Permutation-invariant Attention [169.61294360056925]
  ビデオブロックを符号化するC3Dエンコーダを用いて、短距離アクションパターンをキャプチャする。 我々は,空間的・時間的注意モジュールと自然主義的自己スーパービジョンを利用する。 提案手法は,HMDB51, UCF101, miniMITデータセット上での最先端技術である。
  論文  参考訳（メタデータ） (2020-01-12T10:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。