論文の概要: DomainShuttle: Freeform Open Domain Subject-driven Text-to-video Generation
- arxiv url: http://arxiv.org/abs/2606.26058v1
- Date: Wed, 24 Jun 2026 17:33:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.404221
- Title: DomainShuttle: Freeform Open Domain Subject-driven Text-to-video Generation
- Title（参考訳）: DomainShuttle: フリーフォームなオープンドメインの主題駆動によるテキスト・ツー・ビデオ生成
- Abstract要約: オープンドメインの主題駆動型テキスト・ツー・ビデオ(S2V)生成は、学術と産業に大きな関心を集めている。
オープンなドメインビデオパーソナライゼーションを実現するために,高い忠実度と生成性を実現するDomainShuttleを提案する。
- 参考スコア（独自算出の注目度）: 33.96618259518012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open domain subject-driven text-to-video (S2V) generation has drawn significant interest in academia and industry. Open domain S2V mainly involves two scenarios: in-domain, which requires retaining the reference subject features as much as possible, and cross-domain, which preserves the intrinsic features of the subject while allowing subject-irrelevant properties to vary flexibly according to the text prompt. Existing methods primarily focus on maximizing subject fidelity in in-domain scenarios, which limits their editability and adaptability in cross-domain scenarios, such as novel styles, semantic combinations, or domain attributes. In this study, we propose that an ideal S2V method should flexibly shuttle between different domains, achieving strong performance in both in-domain and cross-domain scenarios. To this end, we propose DomainShuttle, which could achieve high fidelity and generative flexibility for open domain video personalization. Specifically, we introduce Domain-MoT, which decouples videos and reference features and introduces the domain-aware AdaLN for domain-specific modeling of reference images. We then introduce the Video-Reference DualRoPE scheme, which places reference image tokens and video tokens in separate RoPE spaces to enable precise subject-level spatial modeling, and Cross-Pair Consistent Loss, which aims to extract intrinsic subject features unaffected by irrelevant features. Extensive experiments demonstrate that DomainShuttle achieves significant performance improvements over existing methods, exhibiting high subject fidelity and generative flexibility across diverse open domain application scenarios.
- Abstract（参考訳）: オープンドメインの主題駆動型テキスト・ツー・ビデオ(S2V)生成は、学術と産業に大きな関心を集めている。
オープンドメインS2Vは主に、参照対象の特徴をできるだけ保持するインドメインと、本質的な特徴を保存しつつ、テキストプロンプトに応じて対象非関連プロパティを柔軟に変化させるクロスドメインの2つのシナリオを含む。
既存の手法は主にドメイン内のシナリオにおける主題の忠実度を最大化することに焦点を当てており、新しいスタイルやセマンティックな組み合わせ、ドメイン属性といったドメイン横断シナリオにおける編集可能性と適応性を制限する。
本研究では,ドメイン間を柔軟に移動させる理想的なS2V手法を提案する。
そこで本研究では,オープンなドメインビデオパーソナライゼーションを実現するために,高い忠実度と生成性を実現するDomainShuttleを提案する。
具体的には、ビデオと参照機能を分離したDomain-MoTを導入し、参照画像のドメイン固有モデリングのためのドメイン認識型AdaLNを導入する。
次に、参照画像トークンとビデオトークンを分離したRoPE空間に配置して、精密な被写体レベルの空間モデリングを可能にするVideo-Reference DualRoPEスキームと、無関係な特徴によって影響を受けない本質的な被写体の特徴を抽出することを目的としたCross-Pair Consistent Lossを導入する。
大規模な実験は、DomainShuttleが既存のメソッドよりも大幅にパフォーマンスを向上し、様々なオープンドメインアプリケーションのシナリオに対して高い主題の忠実さと生成の柔軟性を示します。
関連論文リスト
- Adversarial Domain Prompt Tuning and Generation for Single Domain Generalization [105.71296914822898]
単一ドメインの一般化は、目に見えない多くのドメインでうまく機能する堅牢なモデルを学ぶことを目的としている。
単一ドメインの一般化を達成するための有望な方向の1つは、データ拡張や画像生成を通じて、外部ドメイン(OOD)のトレーニングデータを生成することである。
本稿では,T2I基盤モデルを利用したトレーニングデータ作成手法を提案する。
論文 参考訳（メタデータ） (2026-06-19T20:46:24Z) - Large-Scale Multi-Domain Recommendation: an Automatic Domain Feature Extraction and Personalized Integration Framework [30.46152832695426]
大規模マルチドメインレコメンデーションのための自動ドメイン特徴抽出とパーソナライズド統合(DFEI)フレームワークを提案する。
このフレームワークは個々のユーザの振る舞いを自動的にドメイン内のすべてのユーザの振る舞いの集約に変換し、ドメインの機能として機能します。
20以上のドメインからなるパブリックデータセットと産業データセットの実験結果から,提案フレームワークがSOTAベースラインと比較して大幅に性能が向上していることが明らかとなった。
論文 参考訳（メタデータ） (2024-04-12T09:57:17Z) - Unified Domain Adaptive Semantic Segmentation [105.05235403072021]
Unsupervised Adaptive Domain Semantic (UDA-SS)は、ラベル付きソースドメインからラベル付きターゲットドメインに監督を移すことを目的としている。
本稿では,特徴量と特徴量との相違に対処するQuad-directional Mixup(QuadMix)法を提案する。
提案手法は,4つの挑戦的UDA-SSベンチマークにおいて,最先端の成果を大きなマージンで上回っている。
論文 参考訳（メタデータ） (2023-11-22T09:18:49Z) - HAMUR: Hyper Adapter for Multi-Domain Recommendation [49.87140704564021]
マルチドメインレコメンデーション(HAMUR)のための新しいモデルHyper Adapterを提案する。
HamURは2つのコンポーネントから構成される。
HamURは暗黙的にドメイン間の共有情報をキャプチャし、アダプタのパラメータを動的に生成する。
論文 参考訳（メタデータ） (2023-09-12T13:34:33Z) - Domain-Specificity Inducing Transformers for Source-Free Domain
Adaptation [34.533493057674974]
ドメイン固有の要因とタスク固有の要因の歪曲と学習を支援するフレームワークを構築します。
私たちは、プライバシ指向のソースフリー設定で、視覚変換器をドメイン適応に利用した最初の人です。
論文 参考訳（メタデータ） (2023-08-27T07:04:51Z) - Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval [55.122020263319634]
ビデオモーメント検索(VMR)は、与えられた言語クエリに従って、未編集のビデオからターゲットモーメントをローカライズすることを目的としている。
本稿では、新しいタスクであるクロスドメインVMRに焦点を当て、完全なアノテーション付きデータセットをひとつのドメインで利用できるが、関心のあるドメインは、注釈なしのデータセットのみを含む。
本稿では、アノテーションの知識をソースドメインからターゲットドメインに転送するマルチモーダル・クロスドメインアライメント・ネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-23T12:58:20Z) - Self-Adversarial Disentangling for Specific Domain Adaptation [52.1935168534351]
ドメイン適応は、ソースとターゲットドメイン間のドメインシフトをブリッジすることを目的としています。
最近の手法では、特定の次元について明示的な事前知識を考慮しないのが一般的である。
論文 参考訳（メタデータ） (2021-08-08T02:36:45Z) - Domain2Vec: Domain Embedding for Unsupervised Domain Adaptation [56.94873619509414]
従来の教師なしドメイン適応は、限られた数のドメイン間の知識伝達を研究する。
本稿では,特徴不整合とグラム行列の連成学習に基づいて,視覚領域のベクトル表現を提供する新しいDomain2Vecモデルを提案する。
我々の埋め込みは、異なるドメイン間の視覚的関係に関する直感と一致するドメイン類似性を予測できることを示した。
論文 参考訳（メタデータ） (2020-07-17T22:05:09Z) - Context-Aware Domain Adaptation in Semantic Segmentation [59.79348089240319]
セマンティックセグメンテーションにおける教師なしドメイン適応の問題を考える。
既存の手法は主に、敵対的学習を通じて、ドメイン不変の特徴(転送方法)を適応することに焦点を当てている。
本稿では,2つのドメイン間のコンテキスト依存性を捕捉し,転送可能なコンテキストに適応するための自己注意に基づく相互注意機構を提案する。
論文 参考訳（メタデータ） (2020-03-09T09:57:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。