論文の概要: Why Do Better Loss Functions Lead to Less Transferable Features?
- arxiv url: http://arxiv.org/abs/2010.16402v2
- Date: Wed, 3 Nov 2021 18:32:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 16:17:05.017945
- Title: Why Do Better Loss Functions Lead to Less Transferable Features?
- Title（参考訳）: より良い損失関数はトランスファー可能な機能を減らせるのか?
- Authors: Simon Kornblith, Ting Chen, Honglak Lee, Mohammad Norouzi
- Abstract要約: 本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。
我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
- 参考スコア（独自算出の注目度）: 93.47297944685114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Previous work has proposed many new loss functions and regularizers that
improve test accuracy on image classification tasks. However, it is not clear
whether these loss functions learn better representations for downstream tasks.
This paper studies how the choice of training objective affects the
transferability of the hidden representations of convolutional neural networks
trained on ImageNet. We show that many objectives lead to statistically
significant improvements in ImageNet accuracy over vanilla softmax
cross-entropy, but the resulting fixed feature extractors transfer
substantially worse to downstream tasks, and the choice of loss has little
effect when networks are fully fine-tuned on the new tasks. Using centered
kernel alignment to measure similarity between hidden representations of
networks, we find that differences among loss functions are apparent only in
the last few layers of the network. We delve deeper into representations of the
penultimate layer, finding that different objectives and hyperparameter
combinations lead to dramatically different levels of class separation.
Representations with higher class separation obtain higher accuracy on the
original task, but their features are less useful for downstream tasks. Our
results suggest there exists a trade-off between learning invariant features
for the original task and features relevant for transfer tasks.
- Abstract（参考訳）: 画像分類タスクにおけるテスト精度を向上させるために,多くの新しい損失関数と正規化器を提案する。
しかし、これらの損失関数が下流タスクの表現をより良く学習するかどうかは不明である。
本稿では,imagenet上でトレーニングされた畳み込みニューラルネットワークの隠れ表現の転送性にトレーニング対象の選択が与える影響について検討する。
提案手法では,画像ネットの精度はバニラソフトマックスのクロスエントロピーよりも統計的に有意に向上するが,固定特徴抽出器の下流タスクへの移動は著しく悪化し,ネットワークが新しいタスクに完全に微調整された場合,損失の選択がほとんど影響しないことを示した。
ネットワークの隠蔽表現間の類似性を測定するためにカーネルアライメントを中心とし、損失関数間の差はネットワークの最後の数層でのみ明らかとなる。
我々は、ペナルティメート層の表現をより深く掘り下げ、異なる目的とハイパーパラメータの組み合わせがクラス分離の劇的に異なるレベルをもたらすことを見出します。
クラス分離の高い表現は、元のタスクで高い精度を得るが、それらの機能は下流タスクではあまり役に立たない。
この結果から,元のタスクに不変な学習機能と,転送タスクに関連する特徴との間にはトレードオフがあることが示唆された。
関連論文リスト
- Less is More: On the Feature Redundancy of Pretrained Models When
Transferring to Few-shot Tasks [120.23328563831704]
事前訓練されたモデルを下流タスクに転送することは、ターゲットデータと線形探索を行うのと同じくらい簡単である。
線形探索では, 下流データが少ない場合に, 事前学習した特徴が極めて冗長であることを示す。
論文 参考訳（メタデータ） (2023-10-05T19:00:49Z) - FourierLoss: Shape-Aware Loss Function with Fourier Descriptors [1.5659201748872393]
この研究は、FourierLossという新しい形状認識損失関数を導入しました。
これは、地上の真実と予測されたセグメンテーションマップの間の形状の相違に依拠し、それらのオブジェクト上で計算されたフーリエ記述子を通し、ネットワークトレーニングにおけるこの相違を罰する。
提案した形状認識損失関数が肝セグメンテーションに有意な有意な有意な成績を示した。
論文 参考訳（メタデータ） (2023-09-21T14:23:10Z) - Multi-stage feature decorrelation constraints for improving CNN
classification performance [14.09469656684143]
本稿では,CNNのためのマルチステージ機能劣化損失(MFD Loss)を提案する。
MFDロスは有効な特徴を洗練し、全ての段階における特徴の相関を制限することによって情報の冗長性をなくす。
単一のSoftmax Loss教師付き学習と比較して、いくつかの典型的なCNNでよく使われるデータセットの実験は、Softmax Loss+MFD Lossの分類性能が著しく優れていることを証明している。
論文 参考訳（メタデータ） (2023-08-24T16:00:01Z) - Diffused Redundancy in Pre-trained Representations [98.55546694886819]
事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。
与えられた層における学習された表現は拡散冗長性を示す。
我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
論文 参考訳（メタデータ） (2023-05-31T21:00:50Z) - SuSana Distancia is all you need: Enforcing class separability in metric
learning via two novel distance-based loss functions for few-shot image
classification [0.9236074230806579]
本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。
以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
論文 参考訳（メタデータ） (2023-05-15T23:12:09Z) - Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。
様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
論文 参考訳（メタデータ） (2023-03-17T12:52:06Z) - A Systematic Performance Analysis of Deep Perceptual Loss Networks: Breaking Transfer Learning Conventions [5.470136744581653]
ディープ・パーセプチュアル・ロス(英: Deep Perceptual Los)とは、2つの画像間の誤差をニューラルネットワークから抽出したディープ・特徴間の距離として計算する画像のロス関数の一種である。
本研究は,4つの異なるアプリケーション領域における事前学習損失ネットワークの効果を評価する。
論文 参考訳（メタデータ） (2023-02-08T13:08:51Z) - Why Do Self-Supervised Models Transfer? Investigating the Impact of
Invariance on Downstream Tasks [79.13089902898848]
自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。
コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
論文 参考訳（メタデータ） (2021-11-22T18:16:35Z) - CrossTransformers: spatially-aware few-shot transfer [92.33252608837947]
非常に少ないデータを持つ新しいタスクを考えると、現代の視覚システムは驚くほど急速に低下する。
現代の視覚システムを支えるニューラルネットワーク表現が、どのようにして監督の崩壊にさらされているかを示す。
そこで我々は,伝達を良くする汎用的な機能を促進するために,自己指導型学習を提案する。
論文 参考訳（メタデータ） (2020-07-22T15:37:08Z) - Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。
本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
論文 参考訳（メタデータ） (2020-07-22T08:30:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。