論文の概要: Arbitrary Video Style Transfer via Multi-Channel Correlation

• arxiv url: http://arxiv.org/abs/2009.08003v2
• Date: Wed, 20 Jan 2021 03:22:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 12:06:33.668169
• Title: Arbitrary Video Style Transfer via Multi-Channel Correlation
• Title（参考訳）: 多チャンネル相関による任意映像スタイル転送
• Authors: Yingying Deng, Fan Tang, Weiming Dong, Haibin Huang, Chongyang Ma, Changsheng Xu
• Abstract要約: 本稿では,マルチチャネル補正ネットワーク(MCCNet)を提案する。 MCCNetは、スタイルとコンテンツドメインの機能空間で直接動作する。 MCCが生成した出力は所望のスタイルパターンを含む特徴であり、鮮やかなスタイルのテクスチャでさらに画像にデコードできる。
• 参考スコア（独自算出の注目度）: 84.75377967652753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video style transfer is getting more attention in AI community for its numerous applications such as augmented reality and animation productions. Compared with traditional image style transfer, performing this task on video presents new challenges: how to effectively generate satisfactory stylized results for any specified style, and maintain temporal coherence across frames at the same time. Towards this end, we propose Multi-Channel Correction network (MCCNet), which can be trained to fuse the exemplar style features and input content features for efficient style transfer while naturally maintaining the coherence of input videos. Specifically, MCCNet works directly on the feature space of style and content domain where it learns to rearrange and fuse style features based on their similarity with content features. The outputs generated by MCC are features containing the desired style patterns which can further be decoded into images with vivid style textures. Moreover, MCCNet is also designed to explicitly align the features to input which ensures the output maintains the content structures as well as the temporal continuity. To further improve the performance of MCCNet under complex light conditions, we also introduce the illumination loss during training. Qualitative and quantitative evaluations demonstrate that MCCNet performs well in both arbitrary video and image style transfer tasks.
• Abstract（参考訳）: ビデオスタイルの転送は、拡張現実やアニメーションプロダクションなど、多数のアプリケーションでAIコミュニティで注目を集めている。 従来のイメージスタイルの転送と比較して、このタスクをビデオ上で実行することは、任意の特定のスタイルに対して満足いくスタイルの結果を効果的に生成し、フレーム間の時間的コヒーレンスを同時に維持する方法という、新しい課題を示す。 そこで本研究では,入力映像のコヒーレンスを自然に維持しつつ,効率的なスタイル転送を実現するために,exemplarスタイル特徴と入力コンテンツ特徴の融合を訓練できるマルチチャネル補正ネットワーク(mccnet)を提案する。 具体的には、mccnetはスタイルとコンテンツドメインの機能領域に直接依存し、コンテンツ機能との類似性に基づいてスタイル機能を再構成し融合することを学ぶ。 MCCが生成した出力は所望のスタイルパターンを含む特徴であり、鮮やかなスタイルテクスチャでさらに画像にデコードできる。 さらに、MCCNetは、出力がコンテンツ構造と時間的連続性を維持するように、特徴を入力に明示的に整合させるように設計されている。 複雑な光条件下でのmccnetの性能をさらに向上するため,訓練中の照明損失についても紹介する。 定性的および定量的評価により、MCCNetは任意のビデオと画像スタイルの転送タスクの両方でよく機能することが示された。

関連論文リスト

• UniVST: A Unified Framework for Training-free Localized Video Style Transfer [66.69471376934034]
  ローカライズドビデオスタイル転送のための統一フレームワークUniVSTを提案する。 トレーニングは不要で、ビデオ全体にわたってスタイルを転送する既存の方法に対して、明確なアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-10-26T05:28:02Z)
• Puff-Net: Efficient Style Transfer with Pure Content and Style Feature Fusion Network [32.12413686394824]
  スタイル転送は、オリジナルの構造を維持しながら、スタイルイメージの芸術的な特徴で画像をレンダリングすることを目的としている。 CNNベースの手法では、入力画像間の大域的情報と長距離依存関係を扱うことは困難である。 我々はPuff-Netと呼ばれる新しいネットワーク、すなわち純粋コンテンツとスタイルの機能融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-30T07:41:07Z)
• Rethink Arbitrary Style Transfer with Transformer and Contrastive Learning [11.900404048019594]
  本稿では,スタイリング画像の品質向上のための革新的手法を提案する。 まず、コンテンツとスタイルの特徴の整合性を改善する手法であるスタイル一貫性インスタンス正規化(SCIN)を提案する。 さらに,様々なスタイル間の関係を理解するために,インスタンスベースのコントラスト学習(ICL)アプローチを開発した。
  論文  参考訳（メタデータ） (2024-04-21T08:52:22Z)
• Line Search-Based Feature Transformation for Fast, Stable, and Tunable Content-Style Control in Photorealistic Style Transfer [26.657485176782934]
  フォトリアリスティックなスタイル転送は、ある画像からのコンテンツが他の画像のスタイルに現れるように適応する際に、現実的な外観のイメージを合成するタスクである。 モダンモデルは、コンテンツイメージとスタイルイメージを記述する機能を融合した変換を組み込み、その結果の機能をスタイリングされたイメージにデコードする。 コンテントの保存量と注入スタイルの強度のバランスを制御できる汎用変換を導入する。
  論文  参考訳（メタデータ） (2022-10-12T08:05:49Z)
• CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer [58.020470877242865]
  我々は,芸術的,写真的,映像的スタイルのトランスファーを共同で行うことができる汎用的なスタイルトランスファー手法を考案した。 我々は,グローバル不整合が局所的不整合に支配されているという軽度かつ合理的な仮定を定め,局所的パッチに適用した汎用的コントラストコヒーレンス保存損失(CCPL)を考案する。 CCPLは、スタイル化を低下させることなく、スタイル転送中のコンテンツソースのコヒーレンスを保存することができる。
  論文  参考訳（メタデータ） (2022-07-11T12:09:41Z)
• StyTr^2: Unbiased Image Style Transfer with Transformers [59.34108877969477]
  イメージスタイル転送の目的は、オリジナルコンテンツを維持しながら、スタイル参照によってガイドされた芸術的特徴を持つ画像をレンダリングすることである。 従来のニューラルスタイルの転送法は通常バイアスを受けており、コンテントリークは、同じ参照画像でスタイル転送プロセスの何回かの実行によって観察することができる。 我々は、この重要な問題に対処するために、トランスフォーマーベースのアプローチ、すなわちStyTr2を提案する。
  論文  参考訳（メタデータ） (2021-05-30T15:57:09Z)
• Arbitrary Style Transfer via Multi-Adaptation Network [109.6765099732799]
  所望のスタイル転送は、内容画像と参照されたスタイル絵が与えられた場合、そのスタイル絵の色調と鮮やかなストロークパターンで内容画像を描画する。 新たな不整合損失関数により,本ネットワークは,様々な入力画像に適応する主文パターンと正確なコンテンツ構造を抽出できる。
  論文  参考訳（メタデータ） (2020-05-27T08:00:22Z)
• Parameter-Free Style Projection for Arbitrary Style Transfer [64.06126075460722]
  本稿では,パラメータフリー,高速,効果的なコンテンツスタイル変換のための特徴レベル変換手法であるStyle Projectionを提案する。 本稿では、任意の画像スタイルの転送にスタイル投影を利用するリアルタイムフィードフォワードモデルを提案する。
  論文  参考訳（メタデータ） (2020-03-17T13:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。