論文の概要: Less is More: Data-Efficient Adaptation for Controllable Text-to-Video Generation
- arxiv url: http://arxiv.org/abs/2511.17844v1
- Date: Fri, 21 Nov 2025 23:41:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.470237
- Title: Less is More: Data-Efficient Adaptation for Controllable Text-to-Video Generation
- Title(参考訳): より少ない:制御可能なテキスト・ビデオ・ジェネレーションのためのデータ効率の良い適応
- Authors: Shihan Cheng, Nilesh Kulkarni, David Hyde, Dmitriy Smirnov,
- Abstract要約: 本稿では,疎結合で低品質な合成データから制御を学習するデータ効率の微調整戦略を提案する。
このような単純なデータに対して微調整を行うことで、望まれる制御が可能になるだけでなく、実際にフォトリアリスティックな「リアル」データに基づいて微調整されたモデルに優れた結果が得られることを示す。
- 参考スコア(独自算出の注目度): 7.871757017748603
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Fine-tuning large-scale text-to-video diffusion models to add new generative controls, such as those over physical camera parameters (e.g., shutter speed or aperture), typically requires vast, high-fidelity datasets that are difficult to acquire. In this work, we propose a data-efficient fine-tuning strategy that learns these controls from sparse, low-quality synthetic data. We show that not only does fine-tuning on such simple data enable the desired controls, it actually yields superior results to models fine-tuned on photorealistic "real" data. Beyond demonstrating these results, we provide a framework that justifies this phenomenon both intuitively and quantitatively.
- Abstract(参考訳): 物理的カメラパラメータ(例えばシャッタースピードや開口)を超えるような新しい生成制御を追加するために、微調整された大規模なテキスト・ビデオ拡散モデルでは、取得が困難な膨大な高忠実なデータセットが必要となる。
本研究では,低品質な合成データからこれらの制御を学習する,データ効率のよい微調整戦略を提案する。
このような単純なデータに対して微調整を行うことで、望まれる制御が可能になるだけでなく、実際にフォトリアリスティックな「リアル」データに基づいて微調整されたモデルに優れた結果が得られることを示す。
これらの結果を実証する以外に、直感的かつ定量的にこの現象を正当化する枠組みを提供する。
関連論文リスト
- Generative Photographic Control for Scene-Consistent Video Cinematic Editing [75.45726688666083]
CineCtrlはプロのカメラパラメータを細かく制御する最初の映像編集フレームワークである。
本稿では、カメラの動きを写真入力から切り離すための分離されたクロスアテンション機構を提案する。
本モデルでは,ユーザの指定した写真カメラ効果を正確に制御した高忠実度ビデオを生成する。
論文 参考訳(メタデータ) (2025-11-17T03:17:23Z) - GV-VAD : Exploring Video Generation for Weakly-Supervised Video Anomaly Detection [6.09434007746295]
ビデオ異常検出(VAD)は、インテリジェント監視などの公共安全アプリケーションにおいて重要な役割を果たす。
本稿では, 意味制御可能な, 物理的に可視な合成ビデオを生成するために, 映像強化弱教師付きVADフレームワークを提案する。
提案するフレームワークは,UCF-Crimeデータセットの最先端手法より優れている。
論文 参考訳(メタデータ) (2025-08-01T04:42:40Z) - StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models [76.62929629864034]
我々は,LDARポイントクラウドレンダリングをピクセルレベルの条件として利用する,制御可能なビデオ拡散モデルであるStreetCrafterを紹介する。
さらに、画素レベルのLiDAR条件を利用することで、ターゲットシーンに対して正確なピクセルレベルの編集を行うことができる。
我々のモデルは視点変化を柔軟に制御し、レンダリング領域を満たすためのビューを拡大する。
論文 参考訳(メタデータ) (2024-12-17T18:58:55Z) - Improving Object Detection by Modifying Synthetic Data with Explainable AI [3.0519884745675485]
本稿では,合成画像の設計効率を向上させるための新しい概念的アプローチを提案する。
XAI技術は、これらの画像を生成するために使用される3Dメッシュモデルを修正する、ループ中の人間プロセスを導く。
合成データは、トレーニング中に見えない方向の車両の検出を4.6%改善できることを示す。
論文 参考訳(メタデータ) (2024-12-02T13:24:43Z) - Sparrow: Data-Efficient Video-LLM with Text-to-Image Augmentation [57.34255010956452]
この研究は、合成データによるスケーリングを再考し、データ中心の観点からビデオLLMの開発に焦点を当てる。
本研究では,純粋なテキスト命令データからビデオライクなサンプルを合成するSparrowというデータ拡張手法を提案する。
提案手法は,より多くのサンプルを用いてトレーニングしたベースラインに匹敵する,あるいは優れた性能を実現する。
論文 参考訳(メタデータ) (2024-11-29T18:59:54Z) - Little Giants: Synthesizing High-Quality Embedding Data at Scale [71.352883755806]
SPEEDは,オープンソースの小型モデルと協調して大規模な埋め込みデータを効率的に生成するフレームワークである。
SPEEDはGPT API呼び出しの1/10未満しか使用せず、両者が合成データのみに基づいてトレーニングされている場合、最先端の埋め込みモデルE5_mistralよりも優れている。
論文 参考訳(メタデータ) (2024-10-24T10:47:30Z) - Fine-grained Controllable Video Generation via Object Appearance and
Context [74.23066823064575]
細粒度制御可能なビデオ生成法(FACTOR)を提案する。
FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。
本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
論文 参考訳(メタデータ) (2023-12-05T17:47:33Z) - Image change detection with only a few samples [7.5780621370948635]
画像変化検出タスクの最大の障害は、さまざまな場面をカバーする大きな注釈付きデータセットの欠如である。
本稿では,合成データを生成するための単純な画像処理手法を提案する。
次に、対象検出に基づく初期の融合ネットワークを設計し、シアムニューラルネットを上回ります。
論文 参考訳(メタデータ) (2023-11-07T07:01:35Z) - Learning Representational Invariances for Data-Efficient Action
Recognition [52.23716087656834]
我々は,データ拡張戦略により,Kinetics-100,UCF-101,HMDB-51データセットのパフォーマンスが期待できることを示す。
また,完全な教師付き設定でデータ拡張戦略を検証し,性能向上を実証した。
論文 参考訳(メタデータ) (2021-03-30T17:59:49Z) - Can Synthetic Data Improve Object Detection Results for Remote Sensing
Images? [15.466412729455874]
本稿では,リモートセンシング画像航空機検出の性能向上のために,広域分布のリアルな合成データの利用を提案する。
レンダリング中に、インスタンスのサイズや背景画像のクラスなど、パラメータをランダムに設定します。
合成画像をよりリアルにするために,CycleGANと実際の未ラベル画像を用いて,画素レベルで合成画像を洗練する。
論文 参考訳(メタデータ) (2020-06-09T02:23:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。