論文の概要: TunerDiT: Training-free Progressive Steering of Diffusion Transformer for Multi-Event Video Generation
- arxiv url: http://arxiv.org/abs/2605.31590v1
- Date: Fri, 29 May 2026 17:56:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.782878
- Title: TunerDiT: Training-free Progressive Steering of Diffusion Transformer for Multi-Event Video Generation
- Title(参考訳): TunerDiT:マルチイベントビデオ生成のための拡散変圧器の訓練不要プログレッシブステアリング
- Abstract要約: マルチイベント生成のための追加トレーニングを必要としないプログレッシブステアリング手法TunerDiTを提案する。
TunerDiTは8つのメトリクスにわたる最先端のパフォーマンスを実現し、ビデオの一貫性とイベント分離の間の調整可能なトレードオフを提供する。
- 参考スコア(独自算出の注目度): 61.04423890085284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-video (T2V) generation faces challenging questions when generating videos with long horizons containing multiple events. Inspired by the intrinsics of the diffusion process, we probe video diffusion transformers (DiTs) and uncover intrinsic turning points in the DiT denoising trajectory where conditioning text affects generation from global layout to fine-grained details. Building on this finding, we present TunerDiT, a simple yet effective progressive steering method that requires no additional training for multi-event generation. TunerDiT comprises two steering handles: (1) Event-Partitioned Masking that enforces event boundaries while allowing cross-event transition bands; (2) Cross-Event Prompt Fusion that injects neighboring event semantics for late-stage refinement. We contribute a self-curated prompt suite for benchmarking multi-event generation, i.e., Meve. TunerDiT achieves state-of-the-art performance across 8 metrics and offers a tunable trade-off between video consistency and event separation, compared with other training-free methods. The improvement in text alignment increases with the event count, indicating a scaling possibility with increasing event count.
- Abstract(参考訳): テキスト・ツー・ビデオ(T2V)生成は、複数のイベントを含む長い水平線でビデオを生成する場合、難しい問題に直面します。
拡散過程の内在性に着想を得て,大域的なレイアウトから細部までの発生に影響を及ぼすDiTの映像拡散変換器(DiT)と固有旋回点を探索する。
この発見に基づいて,マルチイベント生成のための追加トレーニングを必要としない,シンプルで効果的なプログレッシブステアリング手法TunerDiTを提案する。
TunerDiTは2つのステアリングハンドルで構成されている。(1)イベント分割マスキングはイベント境界を強制し、(2)イベント間遷移バンドを許容する。
我々は,マルチイベント世代,すなわちMeveをベンチマークするための自己計算プロンプトスイートをコントリビュートする。
TunerDiTは8つのメトリクスにわたる最先端のパフォーマンスを実現し、他のトレーニング不要の方法と比較して、ビデオの一貫性とイベント分離の間の調整可能なトレードオフを提供する。
テキストアライメントの改善は、イベントカウントによって増加し、イベントカウントの増加に伴うスケーリングの可能性を示している。
関連論文リスト
- TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation [61.27832169507143]
テンポラルワイド分離注意機構(TS-Attn)を提案する。
TS-Attnは、マルチイベントシナリオにおける時間的認識とグローバルコヒーレンスを確保するために、アテンション分布を再構成する。
Wan2.1-T2V-14BとWan2.2-T2V-A14BではStoryEval-Benchのスコアが33.5%上昇し、16.4%上昇した。
論文 参考訳(メタデータ) (2026-04-21T13:56:36Z) - When and Where do Events Switch in Multi-Event Video Generation? [59.9025263656304]
イベントシフトにおける本質的要因の検査を省略する。
この研究は、マルチイベントテキスト・ツー・ビデオ(T2V)生成を評価するためのセルフキュレートプロンプトスイートであるMEveを紹介する。
論文 参考訳(メタデータ) (2025-10-03T14:31:56Z) - Event2Vec: Processing Neuromorphic Events directly by Representations in Vector Space [11.383354549570436]
ニューロモルフィックイベントカメラは、従来のカメラに比べて時間分解能、電力効率、ダイナミックレンジが優れている。
この非互換性に対する既存のソリューションは、しばしば時間分解を犠牲にし、広範囲の事前処理を必要とし、GPUアクセラレーションを完全に活用しない。
我々は、ニューラルネットワークがイベントを直接処理できる新しい表現であるEvent2vecを紹介した。
論文 参考訳(メタデータ) (2025-04-21T18:21:18Z) - DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation [54.30327187663316]
DiTCtrlは、MM-DiTアーキテクチャの下で初めてトレーニング不要なマルチプロンプトビデオ生成手法である。
MM-DiTの注意機構を解析し、3次元のフルアテンションがUNetのような拡散モデルにおけるクロス/セルフアテンションブロックと同様の振る舞いを示す。
我々の注意深い設計に基づいて、DiTCtrlによって生成されたビデオは、複数のシーケンシャルプロンプトが与えられた滑らかな遷移と一貫した物体の動きを達成する。
論文 参考訳(メタデータ) (2024-12-24T18:51:19Z) - Mind the Time: Temporally-Controlled Multi-Event Video Generation [65.05423863685866]
時間制御を備えたマルチイベントビデオジェネレータMinTを提案する。
私たちの重要な洞察は、各イベントを生成されたビデオの特定の期間にバインドすることで、モデルが一度にひとつのイベントに集中できるようにすることです。
文献の中ではじめて、我々のモデルは生成されたビデオのイベントのタイミングを制御できる。
論文 参考訳(メタデータ) (2024-12-06T18:52:20Z) - Event Transformer [43.193463048148374]
イベントカメラの消費電力が低く、マイクロ秒の明るさを捉える能力は、様々なコンピュータビジョンタスクにとって魅力的である。
既存のイベント表現方法は通常、イベントをフレーム、ボクセルグリッド、ディープニューラルネットワーク(DNN)のスパイクに変換する。
この研究はトークンベースの新しいイベント表現を導入し、各イベントはイベントトークンと呼ばれる基本的な処理ユニットと見なされる。
論文 参考訳(メタデータ) (2022-04-11T15:05:06Z) - Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring
Sequential Events Detection for Dense Video Captioning [63.91369308085091]
本稿では、イベントシーケンス生成のための新規でシンプルなモデルを提案し、ビデオ中のイベントシーケンスの時間的関係を探索する。
提案モデルでは,非効率な2段階提案生成を省略し,双方向時間依存性を条件としたイベント境界を直接生成する。
総合システムは、チャレンジテストセットの9.894 METEORスコアで、ビデオタスクにおける密封イベントの最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-06-14T13:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。