論文の概要: PCA-Based Knowledge Distillation Towards Lightweight and Content-Style Balanced Photorealistic Style Transfer Models

• arxiv url: http://arxiv.org/abs/2203.13452v1
• Date: Fri, 25 Mar 2022 05:23:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 13:31:09.406284
• Title: PCA-Based Knowledge Distillation Towards Lightweight and Content-Style Balanced Photorealistic Style Transfer Models
• Title（参考訳）: PCAに基づく知識蒸留による軽量・コンテンツスタイルの光現実性伝達モデル
• Authors: Tai-Yin Chiu, Danna Gurari
• Abstract要約: 私たちの研究は、既存のモデルは大きなサイズのため遅いという観察にインスパイアされています。 我々は,PCAを用いた知識蒸留を導入し,軽量モデルを蒸留し,理論による動機付けを示す。 フォトリアリスティックなスタイル転送のための最初の知識蒸留法である。
• 参考スコア（独自算出の注目度）: 26.657485176782934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Photorealistic style transfer entails transferring the style of a reference image to another image so the result seems like a plausible photo. Our work is inspired by the observation that existing models are slow due to their large sizes. We introduce PCA-based knowledge distillation to distill lightweight models and show it is motivated by theory. To our knowledge, this is the first knowledge distillation method for photorealistic style transfer. Our experiments demonstrate its versatility for use with different backbone architectures, VGG and MobileNet, across six image resolutions. Compared to existing models, our top-performing model runs at speeds 5-20x faster using at most 1\% of the parameters. Additionally, our distilled models achieve a better balance between stylization strength and content preservation than existing models. To support reproducing our method and models, we share the code at \textit{https://github.com/chiutaiyin/PCA-Knowledge-Distillation}.
• Abstract（参考訳）: photorealistic style transferとは、参照画像のスタイルを別の画像に転送することであり、その結果は妥当な写真に思える。 私たちの研究は、既存のモデルは大きなサイズのため遅いという観察にインスパイアされています。 我々は,PCAを用いた知識蒸留を導入し,軽量モデルを蒸留し,理論による動機付けを示す。 我々の知る限り、これは光写実的スタイル伝達のための最初の知識蒸留法である。 我々の実験は、6つの画像解像度で異なるバックボーンアーキテクチャ、VGGとMobileNetで使用するための汎用性を実証した。 既存のモデルと比較して,我々のトップパフォーマンスモデルは,パラメータの少なくとも1倍の速度で5～20倍高速で動作する。 また, 蒸留モデルでは, 既存のモデルよりもスタイライゼーション強度とコンテンツ保存のバランスが良好である。 メソッドとモデルの再生成をサポートするため、コード共有は \textit{https://github.com/chiutaiyin/PCA-Knowledge-Distillation} で行う。

関連論文リスト

• Ada-adapter:Fast Few-shot Style Personlization of Diffusion Model with Pre-trained Image Encoder [57.574544285878794]
  Ada-Adapterは拡散モデルの少数ショットスタイルのパーソナライズのための新しいフレームワークである。 提案手法は,単一の参照画像を用いたゼロショット方式の効率的な転送を可能にする。 フラットアートや3Dレンダリング,ロゴデザインなど,さまざまな芸術的スタイルに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-08T02:00:17Z)
• MuseumMaker: Continual Style Customization without Catastrophic Forgetting [50.12727620780213]
  本研究では,一組のカスタマイズスタイルを終末的に追従することで,画像の合成を可能にする方法であるMuseumMakerを提案する。 新しいカスタマイズスタイルに直面すると、新しい画像生成のためのトレーニングデータのスタイルを抽出し学習するスタイル蒸留損失モジュールを開発する。 これは、新しい訓練画像の内容による学習バイアスを最小限に抑え、少数ショット画像によって引き起こされる破滅的な過適合問題に対処することができる。
  論文  参考訳（メタデータ） (2024-04-25T13:51:38Z)
• Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
  本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。 衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。 本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:12:18Z)
• Direct Consistency Optimization for Compositional Text-to-Image Personalization [73.94505688626651]
  テキスト・ツー・イメージ(T2I)拡散モデルは、いくつかの個人画像に微調整された場合、高い一貫性で視覚を生成することができる。 本稿では,参照画像との整合性を最大化しつつ,事前学習したモデルからの偏差を補償することにより,T2Iモデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-19T09:52:41Z)
• ArtBank: Artistic Style Transfer with Pre-trained Diffusion Model and Implicit Style Prompt Bank [9.99530386586636]
  アートスタイルの転送は、学習したアートスタイルでコンテンツイメージを再描画することを目的としている。 既存のスタイル転送手法は、小さなモデルベースアプローチと、事前訓練された大規模モデルベースアプローチの2つのカテゴリに分けられる。 本研究では,高度にリアルなスタイライズされた画像を生成するために,アートバンクという新しいスタイル転送フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T05:53:40Z)
• Self-Distillation with Meta Learning for Knowledge Graph Completion [26.268302804627726]
  知識グラフ補完のためのメタラーニングを用いた自己蒸留フレームワークを提案する。 本稿ではまず,大規模ソースモデルから小さなプルーニングモデルを得るための動的プルーニング手法を提案する。 そこで我々は,ソースモデルからプルーンドモデルへの包括的知識を蒸留するための一段階のメタ自己蒸留法を提案する。 特に,1回の反復でソースモデルと一緒に訓練されたプルーンドモデルの性能を利用して,ソースモデルの知識伝達能力を向上させる。
  論文  参考訳（メタデータ） (2023-05-20T15:12:25Z)
• NeAT: Neural Artistic Tracing for Beautiful Style Transfer [29.38791171225834]
  スタイル転送は、第2のターゲット画像の芸術的スタイルでソース画像の意味内容を再現するタスクである。 我々は、新しい最先端のフィードフォワードスタイル転送方式NeATを提案する。 我々はBBST-4Mを用いて、様々なスタイルにわたるNeATの一般化を改善し、測定する。
  論文  参考訳（メタデータ） (2023-04-11T11:08:13Z)
• Implementing and Experimenting with Diffusion Models for Text-to-Image Generation [0.0]
  DALL-E 2 と Imagen という2つのモデルでは、画像の単純なテキスト記述から高画質の画像を生成できることが示されている。 テキスト・ツー・イメージのモデルは、トレーニングに必要な膨大な計算リソースと、インターネットから収集された巨大なデータセットを扱う必要がある。 この論文は、これらのモデルが使用するさまざまなアプローチとテクニックをレビューし、それから、テキスト・ツー・イメージ・モデルの独自の実装を提案することで貢献する。
  論文  参考訳（メタデータ） (2022-09-22T12:03:33Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。