論文の概要: Do Different Deep Metric Learning Losses Lead to Similar Learned Features?

• arxiv url: http://arxiv.org/abs/2205.02698v1
• Date: Thu, 5 May 2022 15:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 13:58:13.261645
• Title: Do Different Deep Metric Learning Losses Lead to Similar Learned Features?
• Title（参考訳）: 異なるDeep Metric Learning Lossesは、同様の学習特徴をもたらすか?
• Authors: Konstantin Kobs, Michael Steininger, Andrzej Dulny, Andreas Hotho
• Abstract要約: 最近の研究では、14の事前学習モデルを比較し、すべてのモデルが同様に機能するにもかかわらず、異なる損失関数がモデルに異なる特徴を学習させることができることを発見した。 また,本分析の結果から,一見無関係な性質が埋没に重大な影響を及ぼす可能性が示唆された。
• 参考スコア（独自算出の注目度）: 4.043200001974071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that many deep metric learning loss functions perform very similarly under the same experimental conditions. One potential reason for this unexpected result is that all losses let the network focus on similar image regions or properties. In this paper, we investigate this by conducting a two-step analysis to extract and compare the learned visual features of the same model architecture trained with different loss functions: First, we compare the learned features on the pixel level by correlating saliency maps of the same input images. Second, we compare the clustering of embeddings for several image properties, e.g. object color or illumination. To provide independent control over these properties, photo-realistic 3D car renders similar to images in the Cars196 dataset are generated. In our analysis, we compare 14 pretrained models from a recent study and find that, even though all models perform similarly, different loss functions can guide the model to learn different features. We especially find differences between classification and ranking based losses. Our analysis also shows that some seemingly irrelevant properties can have significant influence on the resulting embedding. We encourage researchers from the deep metric learning community to use our methods to get insights into the features learned by their proposed methods.
• Abstract（参考訳）: 近年の研究では、多くの深度学習損失関数が同じ実験条件下でも同様に機能することが示されている。 この予期せぬ結果の潜在的な理由は、すべての損失により、ネットワークが同様の画像領域やプロパティに集中できるためである。 本稿では,異なる損失関数で訓練された同じモデルアーキテクチャの学習された視覚的特徴を抽出し,比較するために2段階解析を行い,これを考察する: まず,同じ入力画像のサリエンシマップを関連づけることで,画素レベルの学習した特徴を比較する。 第2に,物体の色や照明など,複数の画像特性に対する埋め込みのクラスタリングを比較した。 これらの特性を独立に制御するために、Cars196データセットの画像と同様の写実的な3Dカーレンダリングを生成する。 分析では、最近行った14の事前学習モデルを比較し、全てのモデルが同様に機能するにもかかわらず、異なる損失関数がモデルに異なる特徴を学習させることができることを示した。 特に分類とランキングに基づく損失の差が見られます。 また,本分析の結果から,一見無関係な性質が埋没に重大な影響を及ぼす可能性が示唆された。 我々は,深層学習コミュニティの研究者に対して,提案手法によって学習された特徴に対する洞察を得るために,我々の手法を利用することを勧める。

関連論文リスト

• Learning the Relation between Similarity Loss and Clustering Loss in Self-Supervised Learning [27.91000553525992]
  自己教師付き学習は、ネットワークが大量のデータから識別的特徴を学習することを可能にする。 類似度損失と特徴レベルのクロスエントロピー損失の関係を解析する。 これらの2つの損失の適切な組み合わせが、最先端の結果が得られることを示すための理論的分析と実験を提供する。
  論文  参考訳（メタデータ） (2023-01-08T13:30:39Z)
• Taxonomizing local versus global structure in neural network loss landscapes [60.206524503782006]
  ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。 また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
  論文  参考訳（メタデータ） (2021-07-23T13:37:14Z)
• Projected Distribution Loss for Image Enhancement [15.297569497776374]
  CNNアクティベーション間の1D-ワッサースタイン距離の集約は,既存の手法よりも信頼性が高いことを示す。 デノイジング、スーパーレゾリューション、復号化、デブレーション、JPEGアーティファクト除去などのイメージングアプリケーションでは、提案された学習損失は、参照ベースの知覚的損失に関する現在の最先端のものを上回る。
  論文  参考訳（メタデータ） (2020-12-16T22:13:03Z)
• Intriguing Properties of Contrastive Losses [12.953112189125411]
  コントラスト学習の3つの興味深い特性について検討する。 複数のオブジェクトが存在する画像に対して、インスタンスベースのコントラスト学習がうまく学習できるかどうかを検討する。 対照的な学習では、学習しやすい共有機能のいくつかは、競合する機能の集合の学習を抑え、さらに完全に阻止することができる。
  論文  参考訳（メタデータ） (2020-11-05T13:19:48Z)
• Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations [71.00754846434744]
  知覚不能な加法的摂動は,差分マップを著しく変更できることを示す。 敵データ拡張に使用すると、我々の摂動はより堅牢なトレーニングされたモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-09-21T19:20:09Z)
• Learning Condition Invariant Features for Retrieval-Based Localization from 1M Images [85.81073893916414]
  我々は、より正確で、より一般化されたローカライゼーション特徴を学習する新しい方法を開発した。 難易度の高いオックスフォード・ロボットカーの夜間条件では、5m以内の局所化精度でよく知られた三重項損失を24.4%上回っている。
  論文  参考訳（メタデータ） (2020-08-27T14:46:22Z)
• Towards Visually Explaining Similarity Models [29.704524987493766]
  本稿では,画像類似度予測のための勾配に基づく視覚的注意を生成する手法を提案する。 学習した機能の埋め込みにのみ依存することにより、我々のアプローチがCNNベースの類似性アーキテクチャのあらゆる種類に適用可能であることを示す。 得られたアテンションマップは、単に解釈可能性だけでなく、新たなトレーニング可能な制約でモデル学習プロセス自体に注入可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-13T17:47:41Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Unsupervised Landmark Learning from Unpaired Data [117.81440795184587]
  教師なしランドマーク学習の最近の試みは、外観は似ているがポーズでは異なる合成画像対を活用する。 本稿では,2回スワッピング・リコンストラクション・ストラテジーを適用して最終監視を行うクロスイメージ・サイクル整合性フレームワークを提案する。 提案するフレームワークは,強いベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-29T13:57:20Z)
• Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
  コントラスト学習は教師なし表現学習に革命をもたらした。 現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。 本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T16:29:42Z)
• Disentangling Image Distortions in Deep Feature Space [20.220653544354285]
  我々は、深い視覚表現の能力を分析し、異なる種類の画像歪みを本質的に特徴付けることによって、知覚的類似性に対するより広い理解の方向への一歩を踏み出す。 与えられた層から抽出された特徴の次元還元表現により、特徴空間内の歪みのタイプを効率的に分離することができる。 各ネットワーク層は、異なるタイプの歪みを分離する異なる能力を示し、ネットワークアーキテクチャによってその能力は異なる。
  論文  参考訳（メタデータ） (2020-02-26T11:02:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。