論文の概要: Rethinking and Improving the Robustness of Image Style Transfer

• arxiv url: http://arxiv.org/abs/2104.05623v1
• Date: Thu, 8 Apr 2021 03:24:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 13:53:30.605427
• Title: Rethinking and Improving the Robustness of Image Style Transfer
• Title（参考訳）: イメージスタイル転送のロバスト性の再考と改善
• Authors: Pei Wang, Yijun Li, Nuno Vasconcelos
• Abstract要約: トレーニング済みのVGGネットワークによって抽出された特徴間の相関は、画像の視覚的スタイルをキャプチャする顕著な能力を有することを示す。 この品質は堅牢ではなく、より先進的で軽量なネットワークの機能に適用すると、しばしば大幅に劣化する。 本稿では,そのエントロピーを高める機能アクティベーションのソフトマックス変換に基づく解を提案する。
• 参考スコア（独自算出の注目度）: 70.86976598145111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extensive research in neural style transfer methods has shown that the correlation between features extracted by a pre-trained VGG network has a remarkable ability to capture the visual style of an image. Surprisingly, however, this stylization quality is not robust and often degrades significantly when applied to features from more advanced and lightweight networks, such as those in the ResNet family. By performing extensive experiments with different network architectures, we find that residual connections, which represent the main architectural difference between VGG and ResNet, produce feature maps of small entropy, which are not suitable for style transfer. To improve the robustness of the ResNet architecture, we then propose a simple yet effective solution based on a softmax transformation of the feature activations that enhances their entropy. Experimental results demonstrate that this small magic can greatly improve the quality of stylization results, even for networks with random weights. This suggests that the architecture used for feature extraction is more important than the use of learned weights for the task of style transfer.
• Abstract（参考訳）: ニューラルスタイルの転送手法の広範な研究は、事前訓練されたVGGネットワークによって抽出された特徴間の相関が、画像の視覚的スタイルをキャプチャする顕著な能力を持つことを示した。 しかし驚くべきことに、このスタイリゼーションの質は堅牢ではなく、resnetファミリのようなより先進的で軽量なネットワークの機能に適用すると格段に劣化することが多い。 異なるネットワークアーキテクチャで広範な実験を行うことで,VGGとResNetの主なアーキテクチャ的違いを表す残余接続が,スタイル伝達に適さない小さなエントロピーの特徴マップを生成することがわかった。 そこで我々は,resnetアーキテクチャのロバスト性を向上させるために,機能活性化のソフトマックス変換に基づく簡易かつ効果的な解を提案する。 実験の結果、この小さな魔法は、ランダムな重みを持つネットワークであっても、スタイライゼーション結果の質を大幅に改善できることが示されている。 これは、特徴抽出に使用されるアーキテクチャが、スタイル転送のタスクに学習重みの使用よりも重要であることを示唆している。

関連論文リスト

• Adaptive Convolutional Neural Network for Image Super-resolution [43.06377001247278]
  画像超解像のための適応畳み込みニューラルネットワーク(ADSRNet)を提案する。 上層ネットワークは、コンテキスト情報、カーネルマッピングの健全な情報関係、浅い層と深い層の関連性を高めることができる。 下位のネットワークは対称アーキテクチャを使用して、異なるレイヤの関係を強化し、より構造的な情報をマイニングする。
  論文  参考訳（メタデータ） (2024-02-24T03:44:06Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Power-Enhanced Residual Network for Function Approximation and Physics-Informed Inverse Problems [0.0]
  本稿では、パワーエンハンシング残差ネットワークと呼ばれる新しいニューラルネットワーク構造を提案する。 2Dおよび3D設定におけるスムーズかつ非スムーズな関数近似のネットワーク機能を改善する。 その結果、特に非滑らか関数に対して、提案したパワーエンハンシング残差ネットワークの例外的精度を強調した。
  論文  参考訳（メタデータ） (2023-10-24T10:01:15Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• DeepRLS: A Recurrent Network Architecture with Least Squares Implicit Layers for Non-blind Image Deconvolution [15.986942312624]
  非盲点画像デコンボリューションの問題について検討する。 本稿では,画像品質の非常に競争力のある復元結果をもたらす新しい再帰的ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-10T13:16:51Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Evolving Architectures with Gradient Misalignment toward Low Adversarial Transferability [4.415977307120616]
  本稿では,神経進化を利用してネットワークアーキテクチャを進化させるアーキテクチャ探索フレームワークを提案する。 実験の結果,提案手法は4つの標準ネットワークからの転送可能性を低減するアーキテクチャの発見に成功していることがわかった。 さらに、勾配のずれをトレーニングした進化的ネットワークは、勾配のずれをトレーニングした標準ネットワークと比較して、転送可能性を大幅に低下させる。
  論文  参考訳（メタデータ） (2021-09-13T12:41:53Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Towards Analysis-friendly Face Representation with Scalable Feature and Texture Compression [113.30411004622508]
  普遍的で協調的な視覚情報表現は階層的な方法で実現できることを示す。 ディープニューラルネットワークの強力な生成能力に基づいて、基本特徴層と強化層の間のギャップは、特徴レベルのテクスチャ再構築によってさらに埋められる。 提案するフレームワークの効率を改善するために,ベース層ニューラルネットワークをマルチタスクでトレーニングする。
  論文  参考訳（メタデータ） (2020-04-21T14:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。