論文の概要: Do Deep Networks Transfer Invariances Across Classes?

• arxiv url: http://arxiv.org/abs/2203.09739v1
• Date: Fri, 18 Mar 2022 04:38:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 13:49:46.497923
• Title: Do Deep Networks Transfer Invariances Across Classes?
• Title（参考訳）: ディープネットワークはクラス間で不変か?
• Authors: Allan Zhou, Fahim Tajwar, Alexander Robey, Tom Knowles, George J. Pappas, Hamed Hassani, Chelsea Finn
• Abstract要約: ニュアンス変換を学習するための生成的アプローチが、クラス間での不変性の伝達にどのように役立つかを示す。 この結果から,不均衡分布や細長い分布に対して分類器が不規則に一般化する理由が示唆された。
• 参考スコア（独自算出の注目度）: 123.84237389985236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To generalize well, classifiers must learn to be invariant to nuisance transformations that do not alter an input's class. Many problems have "class-agnostic" nuisance transformations that apply similarly to all classes, such as lighting and background changes for image classification. Neural networks can learn these invariances given sufficient data, but many real-world datasets are heavily class imbalanced and contain only a few examples for most of the classes. We therefore pose the question: how well do neural networks transfer class-agnostic invariances learned from the large classes to the small ones? Through careful experimentation, we observe that invariance to class-agnostic transformations is still heavily dependent on class size, with the networks being much less invariant on smaller classes. This result holds even when using data balancing techniques, and suggests poor invariance transfer across classes. Our results provide one explanation for why classifiers generalize poorly on unbalanced and long-tailed distributions. Based on this analysis, we show how a generative approach for learning the nuisance transformations can help transfer invariances across classes and improve performance on a set of imbalanced image classification benchmarks. Source code for our experiments is available at https://github.com/AllanYangZhou/generative-invariance-transfer.
• Abstract（参考訳）: うまく一般化するには、分類器は入力のクラスを変えないニュアサンス変換に不変であることを学ぶ必要がある。 多くの問題は「クラス非依存」なニュアサンス変換を持ち、画像分類の照明や背景変更など、全てのクラスに同じように適用される。 ニューラルネットワークは、十分なデータ量からこれらの不変性を学ぶことができるが、多くの現実世界のデータセットは、非常にクラス不均衡であり、ほとんどのクラスでいくつかの例しか含まない。 ニューラルネットワークは、大きなクラスから学んだクラスに依存しない不変性を、どの程度小さなクラスに転送するのでしょうか? 注意深い実験を通じて、クラスに依存しない変換に対する不変性は依然としてクラスサイズに大きく依存しており、ネットワークはより小さなクラスで不変性が低いことを観察する。 この結果は、データバランシング技術を使用しても持続し、クラス間での不変性の低さを示唆する。 以上の結果から,分類器が不均衡分布やロングテール分布の一般化に乏しい理由が説明できる。 この分析から,不規則変換を学習するための生成的アプローチは,クラス間の不変性を伝達し,不均衡な画像分類ベンチマークのセットの性能を向上させることができることを示す。 実験のソースコードはhttps://github.com/AllanYangZhou/generative-invariance-transfer.comで公開されている。

関連論文リスト

• Understanding the Role of Invariance in Transfer Learning [9.220104991339104]
  トランスファーラーニングは、異なるタスク間で知識を共有するための強力なテクニックである。 近年の研究では、逆入力摂動のような特定の不変性を持つモデルの表現が、下流タスクにおいてより高い性能を達成することが判明している。
  論文  参考訳（メタデータ） (2024-07-05T07:53:52Z)
• Revisiting Data Augmentation for Rotational Invariance in Convolutional Neural Networks [0.29127054707887967]
  画像分類のためのCNNにおける回転不変性について検討する。 実験により、データ拡張だけで訓練されたネットワークは、通常の非回転の場合と同様に、回転した画像の分類がほぼ可能であることが示された。
  論文  参考訳（メタデータ） (2023-10-12T15:53:24Z)
• Learning to Transform for Generalizable Instance-wise Invariance [48.647925994707855]
  どのような画像であっても、正規化フローを使用して変換上の分布を予測し、それらの上の予測を平均化する。 この正規化フローはエンドツーエンドでトレーニングされており、AugerinoやInstaAugよりもはるかに広い範囲の変換を学ぶことができる。 CIFAR10, CIFAR10-LT, TinyImageNetの精度とロバスト性向上を示す。
  論文  参考訳（メタデータ） (2023-09-28T17:59:58Z)
• Adjusting Logit in Gaussian Form for Long-Tailed Visual Recognition [37.62659619941791]
  特徴レベルの観点から、長い尾の視覚認識の問題について検討する。 2つの新しいロジット調整法が提案され,計算オーバーヘッドの緩やかなモデル性能が向上した。 ベンチマークデータセットを用いて行った実験は,提案手法の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-18T02:06:06Z)
• GistNet: a Geometric Structure Transfer Network for Long-Tailed Recognition [95.93760490301395]
  長い尾の認識は、クラスごとのサンプル数が非常にアンバランスである問題です。 GistNetは、クラスジオメトリをエンコードするために分類パラメータのコンステレーションを使用して、この目標をサポートするように提案されている。 新しい学習アルゴリズムがGeometrIc Structure Transfer (GIST) に提案され、クラスバランスとランダムサンプリングを組み合わせた損失関数の組み合わせにより、一般的なクラスに過度に適合することは幾何パラメータに制限されるが、人気クラスから少数ショットクラスへのクラス幾何学の転送に利用される。
  論文  参考訳（メタデータ） (2021-05-01T00:37:42Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Variational Feature Disentangling for Fine-Grained Few-Shot Classification [30.350307891161865]
  ファインファインショット認識はしばしば、新しいカテゴリのデータの不足を訓練する問題に悩まされる。 本稿では,未確認クラスのクラス内ばらつきを増大させ,少ショット分類性能を向上させることに焦点を当てる。
  論文  参考訳（メタデータ） (2020-10-07T08:13:42Z)
• Feature Space Augmentation for Long-Tailed Data [74.65615132238291]
  実世界のデータは、各クラスの周波数が典型的に異なるため、長い尾の分布に従うことが多い。 データ再サンプリングと拡張に関するクラスバランス損失と高度な手法は、データの不均衡問題を解決するためのベストプラクティスのひとつです。 提案手法は,多種多様なサンプルを持つクラスから学習した特徴量を用いて,特徴空間における表現不足のクラスを増大させることによって,長鎖問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-08-09T06:38:00Z)
• M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
  ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。 本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。 提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-04-01T13:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。