論文の概要: A Systematic Performance Analysis of Deep Perceptual Loss Networks
Breaks Transfer Learning Conventions
- arxiv url: http://arxiv.org/abs/2302.04032v1
- Date: Wed, 8 Feb 2023 13:08:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 16:29:54.610752
- Title: A Systematic Performance Analysis of Deep Perceptual Loss Networks
Breaks Transfer Learning Conventions
- Title（参考訳）: 深層知覚損失ネットワークの系統的性能解析が転校学習規約を破る
- Authors: Gustav Grund Pihlgren, Konstantina Nikolaidou, Prakash Chandra Chhipa,
Nosheen Abid, Rajkumar Saini, Fredrik Sandin, Marcus Liwicki
- Abstract要約: 深い知覚喪失は、ニューラルネットワークから抽出された深い特徴を用いて人間の知覚を模倣することを目的としている。
この手法の多くのアプリケーションは事前訓練されたネットワーク(しばしば畳み込みネットワーク)を損失計算に利用する。
この研究は、多くの異なる特徴抽出ポイントに対して、広く使われ、容易に利用できる事前訓練されたネットワークのホストを体系的に評価する。
- 参考スコア（独自算出の注目度）: 3.806055980628707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep perceptual loss is a type of loss function in computer vision that aims
to mimic human perception by using the deep features extracted from neural
networks. In recent years the method has been applied to great effect on a host
of interesting computer vision tasks, especially for tasks with image or
image-like outputs. Many applications of the method use pretrained networks,
often convolutional networks, for loss calculation. Despite the increased
interest and broader use, more effort is needed toward exploring which networks
to use for calculating deep perceptual loss and from which layers to extract
the features.
This work aims to rectify this by systematically evaluating a host of
commonly used and readily available, pretrained networks for a number of
different feature extraction points on four existing use cases of deep
perceptual loss. The four use cases are implementations of previous works where
the selected networks and extraction points are evaluated instead of the
networks and extraction points used in the original work. The experimental
tasks are dimensionality reduction, image segmentation, super-resolution, and
perceptual similarity. The performance on these four tasks, attributes of the
networks, and extraction points are then used as a basis for an in-depth
analysis. This analysis uncovers essential information regarding which
architectures provide superior performance for deep perceptual loss and how to
choose an appropriate extraction point for a particular task and dataset.
Furthermore, the work discusses the implications of the results for deep
perceptual loss and the broader field of transfer learning. The results break
commonly held assumptions in transfer learning, which imply that deep
perceptual loss deviates from most transfer learning settings or that these
assumptions need a thorough re-evaluation.
- Abstract（参考訳）: ディープ・パーセプチュアル・ロス(deep perceptual loss)は、ニューラルネットワークから抽出された深い特徴を用いて人間の知覚を模倣することを目的としたコンピュータビジョンにおける損失関数の一種である。
近年では、特に画像や画像のような出力を持つタスクに対して、興味深いコンピュータビジョンタスクのホストに大きな効果がある。
この手法の多くのアプリケーションは事前訓練されたネットワーク(しばしば畳み込みネットワーク)を損失計算に利用する。
関心が高まり、広く使われるようになったにも拘わらず、深い知覚的損失を計算するためにどのネットワークを使うか、どの層から特徴を抽出するかを探索するにはより多くの努力が必要である。
本研究の目的は,既存の4つの重度知覚喪失例において,多種多様な特徴抽出点に対して,広く利用され,容易に利用できる事前学習ネットワークのホストを体系的に評価することである。
4つのユースケースは、選択したネットワークと抽出ポイントを元の作業で使用するネットワークと抽出ポイントの代わりに評価する以前の作業の実装である。
実験課題は次元減少、画像分割、超解像、知覚的類似性である。
これら4つのタスク、ネットワークの属性、抽出ポイントのパフォーマンスは、詳細な分析の基盤として使用される。
この分析は、どのアーキテクチャが深い知覚損失に対して優れたパフォーマンスを提供するか、特定のタスクやデータセットの適切な抽出ポイントをどのように選択するかに関する重要な情報を明らかにする。
さらに本研究は, 深い知覚喪失に対する結果の意義と, 転校学習の幅広い分野について論じる。
その結果、転帰学習における深い知覚損失は、ほとんどの転校学習環境から逸脱するか、あるいはこれらの仮定を徹底的に再評価する必要があるということが示唆される。
関連論文リスト
- FourierLoss: Shape-Aware Loss Function with Fourier Descriptors [1.5659201748872393]
この研究は、FourierLossという新しい形状認識損失関数を導入しました。
これは、地上の真実と予測されたセグメンテーションマップの間の形状の相違に依拠し、それらのオブジェクト上で計算されたフーリエ記述子を通し、ネットワークトレーニングにおけるこの相違を罰する。
提案した形状認識損失関数が肝セグメンテーションに有意な有意な有意な成績を示した。
論文 参考訳（メタデータ） (2023-09-21T14:23:10Z) - Multi-stage feature decorrelation constraints for improving CNN
classification performance [14.09469656684143]
本稿では,CNNのためのマルチステージ機能劣化損失(MFD Loss)を提案する。
MFDロスは有効な特徴を洗練し、全ての段階における特徴の相関を制限することによって情報の冗長性をなくす。
単一のSoftmax Loss教師付き学習と比較して、いくつかの典型的なCNNでよく使われるデータセットの実験は、Softmax Loss+MFD Lossの分類性能が著しく優れていることを証明している。
論文 参考訳（メタデータ） (2023-08-24T16:00:01Z) - FuNNscope: Visual microscope for interactively exploring the loss
landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。
我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。
インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文 参考訳（メタデータ） (2022-04-09T16:41:53Z) - Generic Perceptual Loss for Modeling Structured Output Dependencies [78.59700528239141]
トレーニングされた重みではなく、ネットワーク構造が重要であることを示す。
我々は、出力の構造化依存関係をモデル化するためにランダムに重み付けされたディープcnnが使用できることを実証する。
論文 参考訳（メタデータ） (2021-03-18T23:56:07Z) - Image Restoration by Deep Projected GSURE [115.57142046076164]
Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。
本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-04T08:52:46Z) - Learning degraded image classification with restoration data fidelity [0.0]
広く使用されている4つの分類ネットワークにおける分解型およびレベルの影響について検討する。
本稿では,事前学習したネットワークで得られた画像特徴を忠実度マップを用いて校正する手法を提案する。
その結果,提案手法は画像劣化による影響を緩和する有望な解であることがわかった。
論文 参考訳（メタデータ） (2021-01-23T23:47:03Z) - Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。
我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
論文 参考訳（メタデータ） (2020-10-30T17:50:31Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z) - BP-DIP: A Backprojection based Deep Image Prior [49.375539602228415]
画像復元手法として, (i)Deep Image Prior (DIP) と (ii) バックプロジェクション (BP) の2つの手法を提案する。
提案手法はBP-DIP(BP-DIP)と呼ばれ,高いPSNR値とより優れた推論実行時間を持つ通常のDIPよりも優れた性能を示す。
論文 参考訳（メタデータ） (2020-03-11T17:09:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。