論文の概要: A Systematic Performance Analysis of Deep Perceptual Loss Networks: Breaking Transfer Learning Conventions

• arxiv url: http://arxiv.org/abs/2302.04032v3
• Date: Wed, 3 Jul 2024 07:36:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 21:02:45.763581
• Title: A Systematic Performance Analysis of Deep Perceptual Loss Networks: Breaking Transfer Learning Conventions
• Title（参考訳）: ディープ・パーセプチュアル・ロス・ネットワークの系統的性能解析--Breaking Transfer Learning Conventions-
• Authors: Gustav Grund Pihlgren, Konstantina Nikolaidou, Prakash Chandra Chhipa, Nosheen Abid, Rajkumar Saini, Fredrik Sandin, Marcus Liwicki,
• Abstract要約: ディープ・パーセプチュアル・ロス(英: Deep Perceptual Los)とは、2つの画像間の誤差をニューラルネットワークから抽出したディープ・特徴間の距離として計算する画像のロス関数の一種である。 本研究は,4つの異なるアプリケーション領域における事前学習損失ネットワークの効果を評価する。
• 参考スコア（独自算出の注目度）: 5.470136744581653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep perceptual loss has been widely and successfully used to train machine learning models for many computer vision tasks, including image synthesis, segmentation, and autoencoding. Deep perceptual loss is a type of loss function for images that computes the error between two images as the distance between deep features extracted from a neural network. Most applications of the loss use pretrained networks called loss networks for deep feature extraction. However, despite increasingly widespread use, the effects of loss network implementation on the trained models have not been studied. This work rectifies this through a systematic evaluation of the effect of different pretrained loss networks on four different application areas. Specifically, the work evaluates 14 different pretrained architectures with four different feature extraction layers. The evaluation reveals that VGG networks without batch normalization have the best performance and that the choice of feature extraction layer is at least as important as the choice of architecture. The analysis also reveals that deep perceptual loss does not adhere to the transfer learning conventions that better ImageNet accuracy implies better downstream performance and that feature extraction from the later layers provides better performance.
• Abstract（参考訳）: 近年、画像合成、セグメンテーション、オートエンコーディングなど、多くのコンピュータビジョンタスクのための機械学習モデルのトレーニングに、深い知覚損失が広く使われ、成功している。 ディープ・パーセプチュアル・ロス(英: Deep Perceptual Los)とは、2つの画像間の誤差をニューラルネットワークから抽出したディープ・特徴間の距離として計算する画像のロス関数の一種である。 損失のほとんどのアプリケーションは、深い特徴抽出のためにロスネットワークと呼ばれる事前訓練されたネットワークを使用する。 しかし、広く普及しているにもかかわらず、訓練されたモデルに対する損失ネットワークの実装の影響は研究されていない。 この研究は、異なる事前学習された損失ネットワークが4つの異なるアプリケーション領域に与える影響を体系的に評価することで、これを是正する。 具体的には、4つの異なる特徴抽出層を持つ14の事前訓練されたアーキテクチャを評価する。 評価の結果,バッチ正規化のないVGGネットワークは最高の性能を示し,特徴抽出層の選択はアーキテクチャの選択と同じくらい重要であることがわかった。 この分析は、ImageNetの精度が向上すると下流のパフォーマンスが向上し、後続のレイヤからの機能抽出によってパフォーマンスが向上するという、深い知覚的損失がトランスファー学習規則に従わないことも明らかにしている。

関連論文リスト

• FourierLoss: Shape-Aware Loss Function with Fourier Descriptors [1.5659201748872393]
  この研究は、FourierLossという新しい形状認識損失関数を導入しました。 これは、地上の真実と予測されたセグメンテーションマップの間の形状の相違に依拠し、それらのオブジェクト上で計算されたフーリエ記述子を通し、ネットワークトレーニングにおけるこの相違を罰する。 提案した形状認識損失関数が肝セグメンテーションに有意な有意な有意な成績を示した。
  論文  参考訳（メタデータ） (2023-09-21T14:23:10Z)
• Multi-stage feature decorrelation constraints for improving CNN classification performance [14.09469656684143]
  本稿では,CNNのためのマルチステージ機能劣化損失(MFD Loss)を提案する。 MFDロスは有効な特徴を洗練し、全ての段階における特徴の相関を制限することによって情報の冗長性をなくす。 単一のSoftmax Loss教師付き学習と比較して、いくつかの典型的なCNNでよく使われるデータセットの実験は、Softmax Loss+MFD Lossの分類性能が著しく優れていることを証明している。
  論文  参考訳（メタデータ） (2023-08-24T16:00:01Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Generic Perceptual Loss for Modeling Structured Output Dependencies [78.59700528239141]
  トレーニングされた重みではなく、ネットワーク構造が重要であることを示す。 我々は、出力の構造化依存関係をモデル化するためにランダムに重み付けされたディープcnnが使用できることを実証する。
  論文  参考訳（メタデータ） (2021-03-18T23:56:07Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Learning degraded image classification with restoration data fidelity [0.0]
  広く使用されている4つの分類ネットワークにおける分解型およびレベルの影響について検討する。 本稿では,事前学習したネットワークで得られた画像特徴を忠実度マップを用いて校正する手法を提案する。 その結果,提案手法は画像劣化による影響を緩和する有望な解であることがわかった。
  論文  参考訳（メタデータ） (2021-01-23T23:47:03Z)
• Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
  本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。 我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
  論文  参考訳（メタデータ） (2020-10-30T17:50:31Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• BP-DIP: A Backprojection based Deep Image Prior [49.375539602228415]
  画像復元手法として, (i)Deep Image Prior (DIP) と (ii) バックプロジェクション (BP) の2つの手法を提案する。 提案手法はBP-DIP(BP-DIP)と呼ばれ,高いPSNR値とより優れた推論実行時間を持つ通常のDIPよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-03-11T17:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。