論文の概要: Sketch Video Synthesis

• arxiv url: http://arxiv.org/abs/2311.15306v1
• Date: Sun, 26 Nov 2023 14:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 18:20:00.240668
• Title: Sketch Video Synthesis
• Title（参考訳）: スケッチビデオ合成
• Authors: Yudian Zheng, Xiaodong Cun, Menghan Xia, Chi-Man Pun
• Abstract要約: フレームワイドB'ezier曲線で表現されたビデオのスケッチを行うための新しいフレームワークを提案する。 本手法は、スケッチベースのビデオ編集やビデオ合成によるビデオ再生における応用を解放する。
• 参考スコア（独自算出の注目度）: 52.134906766625164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding semantic intricacies and high-level concepts is essential in image sketch generation, and this challenge becomes even more formidable when applied to the domain of videos. To address this, we propose a novel optimization-based framework for sketching videos represented by the frame-wise B\'ezier curve. In detail, we first propose a cross-frame stroke initialization approach to warm up the location and the width of each curve. Then, we optimize the locations of these curves by utilizing a semantic loss based on CLIP features and a newly designed consistency loss using the self-decomposed 2D atlas network. Built upon these design elements, the resulting sketch video showcases impressive visual abstraction and temporal coherence. Furthermore, by transforming a video into SVG lines through the sketching process, our method unlocks applications in sketch-based video editing and video doodling, enabled through video composition, as exemplified in the teaser.
• Abstract（参考訳）: 画像スケッチ生成には意味的な複雑さやハイレベルな概念を理解することが不可欠であり、この課題はビデオの領域に適用されるとさらに強固になる。 そこで本稿では,フレームワイズb\'ezier曲線で表現された映像をスケッチするための新しい最適化ベースフレームワークを提案する。 具体的には,まず各曲線の位置と幅を暖めるためのクロスフレームストローク初期化手法を提案する。 次に,CLIP特徴に基づく意味的損失と,自己分解型2Dアトラスネットワークを用いて新たに設計された一貫性損失を利用して,これらの曲線の位置を最適化する。 これらのデザイン要素に基づいて作られたスケッチビデオは、印象的な視覚的抽象化と時間的コヒーレンスを示している。 さらに,スケッチ作成プロセスを通じて映像をSVGラインに変換することにより,ティーザーの例に示すように,スケッチベースのビデオ編集やビデオドーナリングの応用を解放する。

関連論文リスト

• VIRES: Video Instance Repainting with Sketch and Text Guidance [46.24384664227624]
  スケッチとテキストガイダンスを備えたビデオインスタンス再描画手法であるVIRESを紹介する。 既存のアプローチは、提供されたスケッチシーケンスと時間的一貫性と正確なアライメントに苦慮している。 本稿では,自己スケーリングを標準化したSequential ControlNetを提案する。 スケッチ対応エンコーダは、再塗装された結果が提供されるスケッチシーケンスに一致していることを保証する。
  論文  参考訳（メタデータ） (2024-11-25T08:55:41Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• CustomSketching: Sketch Concept Extraction for Sketch-based Image Synthesis and Editing [21.12815542848095]
  大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。 既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。 スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
  論文  参考訳（メタデータ） (2024-02-27T15:52:59Z)
• Doodle Your 3D: From Abstract Freehand Sketches to Precise 3D Shapes [118.406721663244]
  本稿では,抽象モデリングとクロスモーダル対応を容易にする,新しい部分レベルモデリング・アライメントフレームワークを提案する。 提案手法は,CLIPassoエッジマップと投影された3次元部分領域との対応性を確立することで,スケッチモデリングにシームレスに拡張する。
  論文  参考訳（メタデータ） (2023-12-07T05:04:33Z)
• Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening [58.09847349781176]
  我々は,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。 このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。 マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
  論文  参考訳（メタデータ） (2023-08-25T09:51:03Z)
• SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling [124.3266213819203]
  SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。 SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードする。 SENSは部分再構成による精細化をサポートし、微調整とアーティファクトの除去を可能にする。
  論文  参考訳（メタデータ） (2023-06-09T17:50:53Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• Sketch Me A Video [32.38205496481408]
  本稿では、2つの粗悪なドーンスケッチを入力としてのみ使用して、リアルなポートレートビデオを作成することで、新しいビデオ合成タスクを提案する。 2段階のSketch-to-Videoモデルが提案されている。
  論文  参考訳（メタデータ） (2021-10-10T05:40:11Z)
• Deep Sketch-guided Cartoon Video Inbetweening [24.00033622396297]
  本研究では,ユーザスケッチに案内されたアニメーションの動きに追従しながら,2つの入力から色情報を取得することで,マンガ映像を生成するフレームワークを提案する。 フレームとスケッチの対応性を明示的に考慮することにより,他の画像合成法よりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2020-08-10T14:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。