論文の概要: Deep Translation Prior: Test-time Training for Photorealistic Style Transfer

• arxiv url: http://arxiv.org/abs/2112.06150v1
• Date: Sun, 12 Dec 2021 04:54:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 14:18:23.615552
• Title: Deep Translation Prior: Test-time Training for Photorealistic Style Transfer
• Title（参考訳）: deep translation prior: photorealistic style transferのためのテストタイムトレーニング
• Authors: Sunwoo Kim, Soohyun Kim, Seungryong Kim
• Abstract要約: 近年のCNN(Deep Convolutional Neural Network)におけるフォトリアリスティックなスタイル転送の解決には,大規模データセットからの集中的なトレーニングが必要となる。 提案手法はDTP(Deep Translation Prior)とよばれる新しいフレームワークで,与えられた入力画像対とトレーニングされていないネットワークをテストタイムでトレーニングすることで,フォトリアリスティックなスタイルの転送を実現する。
• 参考スコア（独自算出の注目度）: 36.82737412912885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent techniques to solve photorealistic style transfer within deep convolutional neural networks (CNNs) generally require intensive training from large-scale datasets, thus having limited applicability and poor generalization ability to unseen images or styles. To overcome this, we propose a novel framework, dubbed Deep Translation Prior (DTP), to accomplish photorealistic style transfer through test-time training on given input image pair with untrained networks, which learns an image pair-specific translation prior and thus yields better performance and generalization. Tailored for such test-time training for style transfer, we present novel network architectures, with two sub-modules of correspondence and generation modules, and loss functions consisting of contrastive content, style, and cycle consistency losses. Our framework does not require offline training phase for style transfer, which has been one of the main challenges in existing methods, but the networks are to be solely learned during test-time. Experimental results prove that our framework has a better generalization ability to unseen image pairs and even outperforms the state-of-the-art methods.
• Abstract（参考訳）: 深層畳み込みニューラルネットワーク(CNN)におけるフォトリアリスティックなスタイル転送を解決するための最近の技術は、一般的に大規模なデータセットからの集中的なトレーニングを必要とするため、画像やスタイルを発見できないような応用性や一般化能力に乏しい。 そこで本研究では,与えられた入力画像対とトレーニングされていないネットワークとの試験時間トレーニングにより,画像ペア固有の翻訳を事前に学習し,より優れた性能と一般化を実現する,Deep Translation Prior (DTP) と呼ばれる新しいフレームワークを提案する。 このようなスタイル伝達のためのテストタイムトレーニングに際し、通信モジュールと生成モジュールの2つのサブモジュールを持つ新しいネットワークアーキテクチャと、コントラストのあるコンテンツ、スタイル、サイクル一貫性の損失からなる損失関数を提案する。 当社のフレームワークでは,既存の手法の主な課題のひとつであるスタイル転送のオフライントレーニングフェーズは必要ありませんが,ネットワークはテスト時にのみ学習される必要があります。 実験結果から,我々のフレームワークは画像ペアの発見や最先端の手法よりも優れた一般化能力を有することが示された。

関連論文リスト

• Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
  スケッチに基づく画像検索のクロスドメイン性は困難である。 重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。 ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-05-09T03:10:15Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• Controllable Style Transfer via Test-time Training of Implicit Neural Representation [34.880651923701066]
  Indicit Neural Representationに基づく制御可能なスタイル転送フレームワークを提案する。 テストタイムを一度トレーニングした後、INRベースのモデルの柔軟性により、我々のフレームワークは、スタイリングされた画像をピクセル単位で正確に制御し、さらなる最適化やトレーニングをすることなく、画像の解像度を自由に調整できる。
  論文  参考訳（メタデータ） (2022-10-14T12:53:39Z)
• Pretraining is All You Need for Image-to-Image Translation [59.43151345732397]
  画像から画像への一般的な翻訳を促進するために,事前学習を使うことを提案する。 提案した事前学習型画像画像変換(PITI)は,前例のないリアリズムと忠実さのイメージを合成できることを示す。
  論文  参考訳（メタデータ） (2022-05-25T17:58:26Z)
• Deep Matching Prior: Test-Time Optimization for Dense Correspondence [37.492074298574664]
  入力対のイメージ上で、トレーニングされていないマッチングネットワークを最適化することで、画像ペア固有の先行情報をキャプチャできることを示す。 実験により、私たちのフレームワークはDeep Matching Prior (DMP)と呼ばれ、最新の学習ベースの手法に対して競争力があり、性能も優れています。
  論文  参考訳（メタデータ） (2021-06-06T10:56:01Z)
• StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
  マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。 我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。 具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
  論文  参考訳（メタデータ） (2021-04-14T19:58:24Z)
• Online Exemplar Fine-Tuning for Image-to-Image Translation [32.556050882376965]
  ディープ畳み込みニューラルネットワーク(CNN)において、既存の画像から画像への変換を解決するには、ネットワークパラメータを最適化するためのトレーニングフェーズが必要である。 入力画像ペアが与えられたオンライン最適化により,先進的な翻訳を初めて解決する新しいフレームワークを提案する。 我々のフレームワークは、既存の手法の主な課題であるオフライントレーニングフェーズを必要とせず、オンラインの最適化を可能にするためにトレーニング済みのネットワークを必要としています。
  論文  参考訳（メタデータ） (2020-11-18T15:13:16Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。