論文の概要: Real-time Localized Photorealistic Video Style Transfer

• arxiv url: http://arxiv.org/abs/2010.10056v1
• Date: Tue, 20 Oct 2020 06:21:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 07:13:38.617418
• Title: Real-time Localized Photorealistic Video Style Transfer
• Title（参考訳）: リアルタイムローカライズされたフォトリアリスティックビデオスタイル転送
• Authors: Xide Xia, Tianfan Xue, Wei-sheng Lai, Zheng Sun, Abby Chang, Brian Kulis, Jiawen Chen
• Abstract要約: 本稿では,対象映像の局所領域に意味論的に意味のある局所領域の芸術的スタイルを移すための新しいアルゴリズムを提案する。 近年のフォトリアリスティックなスタイル転送に触発されたディープニューラルネットワークアーキテクチャをベースとした本手法は,リアルタイムであり,任意の入力に作用する。 本手法は,複数のオブジェクトに異なるスタイルを同時に転送する機能を含む,様々なスタイルの画像やターゲットビデオに対して実証する。
• 参考スコア（独自算出の注目度）: 25.91181753178577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel algorithm for transferring artistic styles of semantically meaningful local regions of an image onto local regions of a target video while preserving its photorealism. Local regions may be selected either fully automatically from an image, through using video segmentation algorithms, or from casual user guidance such as scribbles. Our method, based on a deep neural network architecture inspired by recent work in photorealistic style transfer, is real-time and works on arbitrary inputs without runtime optimization once trained on a diverse dataset of artistic styles. By augmenting our video dataset with noisy semantic labels and jointly optimizing over style, content, mask, and temporal losses, our method can cope with a variety of imperfections in the input and produce temporally coherent videos without visual artifacts. We demonstrate our method on a variety of style images and target videos, including the ability to transfer different styles onto multiple objects simultaneously, and smoothly transition between styles in time.
• Abstract（参考訳）: 本稿では,画像の意味的に意味のある局所領域の芸術的スタイルを,そのフォトリアリズムを維持しながら対象映像の局所領域に転送する新しいアルゴリズムを提案する。 ローカルリージョンは、画像から、ビデオセグメンテーションアルゴリズムを使用して、あるいはスクリブルのようなカジュアルなユーザーガイダンスから、完全に自動的に選択することができる。 我々の手法は,近年のフォトリアリスティックなスタイル転送の成果に触発されたディープニューラルネットワークアーキテクチャをベースとして,リアルタイムであり,多種多様な芸術的スタイルのデータセットでトレーニングされた場合,実行時最適化なしで任意の入力を扱う。 ビデオデータセットをノイズの多いセマンティックラベルで拡張し、スタイル、コンテンツ、マスク、時間的損失を共同最適化することにより、入力のさまざまな欠陥に対処し、視覚的なアーティファクトなしで時間的に一貫性のあるビデオを生成することができる。 提案手法は,複数のオブジェクトに異なるスタイルを同時に転送する機能や,時間内に異なるスタイルをスムーズに切り替える機能など,様々なスタイルの画像やターゲットビデオで実証する。

関連論文リスト

• Move Anything with Layered Scene Diffusion [77.45870343845492]
  拡散サンプリング過程におけるシーン表現を最適化するために,SceneDiffusionを提案する。 我々の重要な洞察は、異なる空間配置のシーンレンダリングを共同でデノベートすることで、空間的ゆがみを得ることができることである。 生成したシーンは、移動、再サイズ、クローニング、レイヤーワイドな外観編集操作を含む、幅広い空間編集操作をサポートする。
  論文  参考訳（メタデータ） (2024-04-10T17:28:16Z)
• Towards 4D Human Video Stylization [56.33756124829298]
  本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。 我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。 我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
  論文  参考訳（メタデータ） (2023-12-07T08:58:33Z)
• WAIT: Feature Warping for Animation to Illustration video Translation using GANs [12.681919619814419]
  ビデオのスタイリングにおいて,未順序画像の集合を用いる場合の新たな問題を提案する。 映像から映像への翻訳のほとんどは、画像から画像への翻訳モデルに基づいて構築されている。 本稿では,従来の手法の限界を克服する特徴変形層を有する新しいジェネレータネットワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T19:45:24Z)
• Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate [58.83278629019384]
  スタイル転送は、コンテンツ参照のために、ある画像のスタイルを他の画像へのスタイル参照にレンダリングすることを目的としている。 既存のアプローチでは、スタイルイメージの全体的スタイルをグローバルな方法で適用するか、あるいは、スタイルイメージのローカル色とテクスチャを、事前に定義された方法でコンテンツに移行するかのいずれかである。 本稿では,Any-to-Any Style Transferを提案する。Any-to-Any Style Transferは,スタイル画像中の領域のスタイルを対話的に選択し,所定のコンテンツ領域に適用することができる。
  論文  参考訳（メタデータ） (2023-04-19T15:15:36Z)
• Unsupervised Coherent Video Cartoonization with Perceptual Motion Consistency [89.75731026852338]
  映像のコヒーレント化のための空間適応型アライメントフレームワークを提案する。 我々は,セマンティック相関写像を,知覚整合運動におけるスタイルに依存しないグローバルな正規化として考案する。 本手法は,高度にスタイリスティックで時間的に一貫したマンガ映像を生成することができる。
  論文  参考訳（メタデータ） (2022-04-02T07:59:02Z)
• Interactive Style Transfer: All is Your Palette [74.06681967115594]
  本稿では,ユーザが対話的に調和したスタイルのイメージを作成できる,図形的な対話型スタイル転送(IST)手法を提案する。 私たちのISTメソッドは、どこからでもブラシやディップスタイルとして機能し、ターゲットのコンテンツイメージの任意の領域にペイントします。
  論文  参考訳（メタデータ） (2022-03-25T06:38:46Z)
• STALP: Style Transfer with Auxiliary Limited Pairing [36.23393954839379]
  本稿では,1対のソース画像と,そのスタイリング画像を用いた画像の例ベーススタイリング手法を提案する。 本研究では,対象画像に対するリアルタイムな意味論的スタイル転送が可能な画像翻訳ネットワークの訓練方法を示す。
  論文  参考訳（メタデータ） (2021-10-20T11:38:41Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Interactive Video Stylization Using Few-Shot Patch-Based Training [23.801384381295698]
  提案手法は,少数の選択者から他の配列へスタイルを伝達する学習的手法である。 結果として得られるスタイル化は意味論的に意味があり、つまり、動く物体の特定の部分がアーティストの意図に従ってスタイル化される。 ユーザが選択した外観をペイントし、そのスタイルを既存の記録シーケンスやライブビデオストリームに転送する、様々なインタラクティブなシナリオにおいて、その実用性を実証する。
  論文  参考訳（メタデータ） (2020-04-29T21:33:28Z)
• Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer [18.455002563426262]
  フォトリアリスティックなスタイル転送は、画像の芸術的スタイルをコンテンツターゲットに転送し、カメラで撮影可能な結果を生成するタスクである。 ディープニューラルネットワークに基づく最近のアプローチでは、印象的な結果が得られるが、現実的な解像度での実行には遅すぎるか、好ましくないアーティファクトがまだ含まれている。 高速かつ本質的にフォトリアリスティックな結果を生成するフォトリアリスティックなスタイル転送のための新しいエンド・ツー・エンドモデルを提案する。
  論文  参考訳（メタデータ） (2020-04-23T03:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。