論文の概要: A Systematic Performance Analysis of Deep Perceptual Loss Networks
Breaks Transfer Learning Conventions
- arxiv url: http://arxiv.org/abs/2302.04032v1
- Date: Wed, 8 Feb 2023 13:08:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 16:29:54.610752
- Title: A Systematic Performance Analysis of Deep Perceptual Loss Networks
Breaks Transfer Learning Conventions
- Title(参考訳): 深層知覚損失ネットワークの系統的性能解析が転校学習規約を破る
- Authors: Gustav Grund Pihlgren, Konstantina Nikolaidou, Prakash Chandra Chhipa,
Nosheen Abid, Rajkumar Saini, Fredrik Sandin, Marcus Liwicki
- Abstract要約: 深い知覚喪失は、ニューラルネットワークから抽出された深い特徴を用いて人間の知覚を模倣することを目的としている。
この手法の多くのアプリケーションは事前訓練されたネットワーク(しばしば畳み込みネットワーク)を損失計算に利用する。
この研究は、多くの異なる特徴抽出ポイントに対して、広く使われ、容易に利用できる事前訓練されたネットワークのホストを体系的に評価する。
- 参考スコア(独自算出の注目度): 3.806055980628707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep perceptual loss is a type of loss function in computer vision that aims
to mimic human perception by using the deep features extracted from neural
networks. In recent years the method has been applied to great effect on a host
of interesting computer vision tasks, especially for tasks with image or
image-like outputs. Many applications of the method use pretrained networks,
often convolutional networks, for loss calculation. Despite the increased
interest and broader use, more effort is needed toward exploring which networks
to use for calculating deep perceptual loss and from which layers to extract
the features.
This work aims to rectify this by systematically evaluating a host of
commonly used and readily available, pretrained networks for a number of
different feature extraction points on four existing use cases of deep
perceptual loss. The four use cases are implementations of previous works where
the selected networks and extraction points are evaluated instead of the
networks and extraction points used in the original work. The experimental
tasks are dimensionality reduction, image segmentation, super-resolution, and
perceptual similarity. The performance on these four tasks, attributes of the
networks, and extraction points are then used as a basis for an in-depth
analysis. This analysis uncovers essential information regarding which
architectures provide superior performance for deep perceptual loss and how to
choose an appropriate extraction point for a particular task and dataset.
Furthermore, the work discusses the implications of the results for deep
perceptual loss and the broader field of transfer learning. The results break
commonly held assumptions in transfer learning, which imply that deep
perceptual loss deviates from most transfer learning settings or that these
assumptions need a thorough re-evaluation.
- Abstract(参考訳): ディープ・パーセプチュアル・ロス(deep perceptual loss)は、ニューラルネットワークから抽出された深い特徴を用いて人間の知覚を模倣することを目的としたコンピュータビジョンにおける損失関数の一種である。
近年では、特に画像や画像のような出力を持つタスクに対して、興味深いコンピュータビジョンタスクのホストに大きな効果がある。
この手法の多くのアプリケーションは事前訓練されたネットワーク(しばしば畳み込みネットワーク)を損失計算に利用する。
関心が高まり、広く使われるようになったにも拘わらず、深い知覚的損失を計算するためにどのネットワークを使うか、どの層から特徴を抽出するかを探索するにはより多くの努力が必要である。
本研究の目的は,既存の4つの重度知覚喪失例において,多種多様な特徴抽出点に対して,広く利用され,容易に利用できる事前学習ネットワークのホストを体系的に評価することである。
4つのユースケースは、選択したネットワークと抽出ポイントを元の作業で使用するネットワークと抽出ポイントの代わりに評価する以前の作業の実装である。
実験課題は次元減少、画像分割、超解像、知覚的類似性である。
これら4つのタスク、ネットワークの属性、抽出ポイントのパフォーマンスは、詳細な分析の基盤として使用される。
この分析は、どのアーキテクチャが深い知覚損失に対して優れたパフォーマンスを提供するか、特定のタスクやデータセットの適切な抽出ポイントをどのように選択するかに関する重要な情報を明らかにする。
さらに本研究は, 深い知覚喪失に対する結果の意義と, 転校学習の幅広い分野について論じる。
その結果、転帰学習における深い知覚損失は、ほとんどの転校学習環境から逸脱するか、あるいはこれらの仮定を徹底的に再評価する必要があるということが示唆される。
関連論文リスト
- An Empirical Study of Attention Networks for Semantic Segmentation [11.000308726481236]
近年,注目度に基づくデコーダは,各種データセット上での最先端(SOTA)性能を実現している。
本稿ではまず,計算の複雑さを分析し,その性能を比較する実験を行う。
論文 参考訳(メタデータ) (2023-09-19T00:07:57Z) - Real-Time Semantic Segmentation: A Brief Survey & Comparative Study in
Remote Sensing [13.278362721781978]
本稿では,効率的なディープニューラルネットワークを設計するための基本的な圧縮手法の要約から始める。
そこで本研究では,ネットワークアーキテクチャ設計のアプローチに基づいて,これらの手法を分類学に組み込むことにより,基礎的な効率的な深層学習手法について検討する。
我々は,現在利用可能なリモートセマンティックセマンティックセグメンテーションベンチマークデータセットを用いて,既存のディープニューラルネットワークの品質と効率を評価する。
論文 参考訳(メタデータ) (2023-09-12T08:30:48Z) - Predicting Depth from Semantic Segmentation using Game Engine Dataset [0.0]
この論文は、物体の知覚と深度推定畳み込みニューラルネットワークの関係を考察する。
入力時に1つの画像のみを使用する単純な深度推定ネットワークに基づく新しいネットワーク構造を開発した。
その結果,新しい構造は距離の相対誤差の52%で深度推定の性能を向上させることができることがわかった。
論文 参考訳(メタデータ) (2021-06-12T10:15:40Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Generic Perceptual Loss for Modeling Structured Output Dependencies [78.59700528239141]
トレーニングされた重みではなく、ネットワーク構造が重要であることを示す。
我々は、出力の構造化依存関係をモデル化するためにランダムに重み付けされたディープcnnが使用できることを実証する。
論文 参考訳(メタデータ) (2021-03-18T23:56:07Z) - Variational Structured Attention Networks for Deep Visual Representation
Learning [49.80498066480928]
空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。
具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。
ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
論文 参考訳(メタデータ) (2021-03-05T07:37:24Z) - Improved Point Transformation Methods For Self-Supervised Depth
Prediction [4.103701929881022]
ステレオ画像対やエゴモーション画像対が与えられた場合、単眼深度推定の教師なし学習の一般的な成功方法は、学習した深度予測による画像再構成の品質を測定することである。
本稿では,変換後の点を新しい視点に正しく効率的に処理するzブッフィングアルゴリズムを提案する。
このアルゴリズムは、機械学習ライブラリの典型的なオペレーターによって実装されているため、差別化を自動サポートした既存の教師なし深度学習フレームワークに組み込むことができる。
論文 参考訳(メタデータ) (2021-02-18T03:42:40Z) - SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from
Monocular images [94.36401543589523]
これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。
次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。
私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
論文 参考訳(メタデータ) (2021-01-19T02:41:03Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳(メタデータ) (2020-03-31T16:47:20Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。