論文の概要: DreamColour: Controllable Video Colour Editing without Training
- arxiv url: http://arxiv.org/abs/2412.05180v1
- Date: Fri, 06 Dec 2024 16:57:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-09 15:55:59.588074
- Title: DreamColour: Controllable Video Colour Editing without Training
- Title（参考訳）: DreamColour: コントロール可能なビデオカラー編集
- Authors: Chaitat Utintu, Pinaki Nath Chowdhury, Aneeshan Sain, Subhadeep Koley, Ayan Kumar Bhunia, Yi-Zhe Song,
- Abstract要約: 直感的なインタフェースにより、正確な映像色編集を可能にする訓練不要のフレームワークを提案する。
色編集の空間的側面と時間的側面を分離することにより、ユーザの自然なワークフローをより良く整合させることができる。
当社のアプローチは、トレーニングや特別なハードウェアの必要性を排除しつつ、最先端の手法に適合または超越しています。
- 参考スコア（独自算出の注目度）: 80.90808879991182
- License:
- Abstract: Video colour editing is a crucial task for content creation, yet existing solutions either require painstaking frame-by-frame manipulation or produce unrealistic results with temporal artefacts. We present a practical, training-free framework that makes precise video colour editing accessible through an intuitive interface while maintaining professional-quality output. Our key insight is that by decoupling spatial and temporal aspects of colour editing, we can better align with users' natural workflow -- allowing them to focus on precise colour selection in key frames before automatically propagating changes across time. We achieve this through a novel technical framework that combines: (i) a simple point-and-click interface merging grid-based colour selection with automatic instance segmentation for precise spatial control, (ii) bidirectional colour propagation that leverages inherent video motion patterns, and (iii) motion-aware blending that ensures smooth transitions even with complex object movements. Through extensive evaluation on diverse scenarios, we demonstrate that our approach matches or exceeds state-of-the-art methods while eliminating the need for training or specialized hardware, making professional-quality video colour editing accessible to everyone.
- Abstract（参考訳）: ビデオカラー編集はコンテンツ作成にとって重要なタスクだが、既存のソリューションではフレーム単位の操作が難しいか、時間的アーティファクトで非現実的な結果を生成する必要がある。
プロ品質の出力を維持しつつ、直感的なインタフェースで正確な映像色編集を実現するための、実践的でトレーニング不要なフレームワークを提案する。
私たちの重要な洞察は、色編集の空間的側面と時間的側面を分離することで、ユーザの自然なワークフローをより良く整合させることができるということです。
私たちはこれを、組み合わせた新しい技術フレームワークによって実現します。
(i)グリッドベースの色選択と自動インスタンスセグメンテーションを組み合わせた簡易なポイント・アンド・クリックインタフェースによる空間制御
(II)固有動画像パターンを利用した双方向色伝搬、及び
三 複雑な物体の動きであっても円滑な遷移を保証する動き認識ブレンディング。
多様なシナリオに対する広範な評価を通じて、我々のアプローチが最先端の手法と一致しているか、あるいは超越しているかを実証するとともに、トレーニングや専門ハードウェアの必要性を排除し、プロレベルのビデオカラー編集を誰でも利用できるようにする。
関連論文リスト
- L-C4: Language-Based Video Colorization for Creative and Consistent Color [59.069498113050436]
創造的・一貫性のある色(L-C4)のための言語ベースビデオカラー化を提案する。
我々のモデルは、事前訓練された相互モダリティ生成モデルに基づいて構築される。
本研究では,フリックやカラーシフトを防止するために時間的に変形可能な注意点と,長期のカラー一貫性を維持するためにクロスクリップ融合を提案する。
論文 参考訳（メタデータ） (2024-10-07T12:16:21Z) - SketchDeco: Decorating B&W Sketches with Colour [80.90808879991182]
本稿では,色彩の普遍的な幼児期活動に触発された,色彩のスケッチ化への新たなアプローチを紹介する。
精度と利便性のバランスを考慮し,地域マスクとカラーパレットを用いて直感的なユーザコントロールを実現する。
論文 参考訳（メタデータ） (2024-05-29T02:53:59Z) - LatentColorization: Latent Diffusion-Based Speaker Video Colorization [1.2641141743223379]
ビデオのカラー化における時間的一貫性を実現するための新しいソリューションを提案する。
既存の手法と比較して,確立された画像品質指標の大幅な改善を示す。
我々のデータセットは、テレビ/映画からの従来のデータセットとビデオの組み合わせを含んでいる。
論文 参考訳（メタデータ） (2024-05-09T12:06:06Z) - Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。
提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。
ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
論文 参考訳（メタデータ） (2024-03-27T08:32:48Z) - FlowChroma -- A Deep Recurrent Neural Network for Video Colorization [1.0499611180329804]
フレーム間の色合いを最小限に抑える自動ビデオカラー化フレームワークを開発した。
ビデオのカラー化における色一貫性向上のために、繰り返しニューラルネットワークをうまく利用できることが示される。
論文 参考訳（メタデータ） (2023-05-23T05:41:53Z) - Temporally Consistent Video Colorization with Deep Feature Propagation
and Self-regularization Learning [90.38674162878496]
時間的に一貫した新しいビデオカラー化フレームワーク(TCVC)を提案する。
TCVCは、フレームレベルの深い特徴を双方向的に効果的に伝播し、色付けの時間的一貫性を高める。
実験により,本手法は視覚的に満足な色付きビデオを得るだけでなく,最先端の手法よりも時間的整合性が得られることが示された。
論文 参考訳（メタデータ） (2021-10-09T13:00:14Z) - Task-agnostic Temporally Consistent Facial Video Editing [84.62351915301795]
タスクに依存しない、時間的に一貫した顔画像編集フレームワークを提案する。
3次元再構成モデルに基づいて,本フレームワークはより統一的で不整合な方法で複数の編集タスクを処理するように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳（メタデータ） (2020-07-03T02:49:20Z) - Line Art Correlation Matching Feature Transfer Network for Automatic
Animation Colorization [0.0]
色付き参照特徴を学習可能な方法で整列させるための相関マッチング特徴伝達モデル(CMFT)を提案する。
これにより、ジェネレータはディープセマンティックコードから徐々にコンテンツにレイヤーワイドの同期機能を転送できる。
論文 参考訳（メタデータ） (2020-04-14T06:50:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。