論文の概要: Inversion dynamics of class manifolds in deep learning reveals tradeoffs underlying generalisation

• arxiv url: http://arxiv.org/abs/2303.05161v1
• Date: Thu, 9 Mar 2023 10:35:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 15:17:27.440739
• Title: Inversion dynamics of class manifolds in deep learning reveals tradeoffs underlying generalisation
• Title（参考訳）: ディープラーニングにおけるクラス多様体の反転ダイナミクスは、一般化の基礎となるトレードオフを明らかにする
• Authors: Simone Ciceri, Lorenzo Cassani, Pierre Pizzochero, Matteo Osella, Pietro Rotondo, Marco Gherardi
• Abstract要約: 優れた一般化には、ある程度の絡み合いを含む不変の特徴を学ぶ必要がある。 本稿では,これらの傾向と非単調な傾向のバランスをとる表現を最適化力学がどのように求めるかを示す数値実験について報告する。 インバージョンでのトレーニングエラーは、サブサンプリングの下で著しく安定しており、ネットワークの初期化やオプティマイザを越えて、データ構造と(非常に弱い)アーキテクチャのプロパティとして特徴付けられる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To achieve near-zero training error in a classification problem, the layers of a deep network have to disentangle the manifolds of data points with different labels, to facilitate the discrimination. However, excessive class separation can bring to overfitting since good generalisation requires learning invariant features, which involve some level of entanglement. We report on numerical experiments showing how the optimisation dynamics finds representations that balance these opposing tendencies with a non-monotonic trend. After a fast segregation phase, a slower rearrangement (conserved across data sets and architectures) increases the class entanglement. The training error at the inversion is remarkably stable under subsampling, and across network initialisations and optimisers, which characterises it as a property solely of the data structure and (very weakly) of the architecture. The inversion is the manifestation of tradeoffs elicited by well-defined and maximally stable elements of the training set, coined "stragglers", particularly influential for generalisation.
• Abstract（参考訳）: 分類問題におけるほぼゼロに近いトレーニング誤差を達成するためには、ディープネットワークの層が異なるラベルでデータポイントの多様体を歪め、識別を容易にする必要がある。 しかし、良い一般化にはある種の絡み合いを伴う不変な特徴を学ぶ必要があるため、過剰なクラス分離は過剰フィッティングをもたらす可能性がある。 楽観化ダイナミクスが、これらの対立する傾向と非単調な傾向をバランスさせる表現をどのように見つけるかを示す数値実験を報告する。 高速な分離フェーズの後、遅い再配置(データセットとアーキテクチャにまたがって保存される)により、クラス絡み合いが増加する。 インバージョンでのトレーニングエラーは、サブサンプリングやネットワーク初期化やオプティマイザ間で著しく安定しており、データ構造とアーキテクチャの(非常に弱い)特性のみを特徴としている。 逆転は、特に一般化に影響を及ぼす「ストラグラー」と呼ばれるトレーニングセットの明確に定義された最大安定な要素によって引き起こされるトレードオフの顕現である。

関連論文リスト

• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Heterogeneous Target Speech Separation [52.05046029743995]
  我々は,非相互排他的概念を用いて興味のあるソースを区別できる単一チャネルターゲットソース分離のための新しいパラダイムを提案する。 提案する異種分離フレームワークは,分散シフトが大きいデータセットをシームレスに利用することができる。
  論文  参考訳（メタデータ） (2022-04-07T17:14:20Z)
• Soft-margin classification of object manifolds [0.0]
  単一対象の複数の出現に対応する神経集団は、神経応答空間における多様体を定義する。 そのような多様体を分類する能力は、オブジェクト認識やその他の計算タスクは多様体内の変数に無関心な応答を必要とするため、興味がある。 ソフトマージン分類器は、より大きなアルゴリズムのクラスであり、トレーニングセット外のパフォーマンスを最適化するためにアプリケーションで使われる追加の正規化パラメータを提供する。
  論文  参考訳（メタデータ） (2022-03-14T12:23:36Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Analyzing Overfitting under Class Imbalance in Neural Networks for Image Segmentation [19.259574003403998]
  画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。 本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
  論文  参考訳（メタデータ） (2021-02-20T14:57:58Z)
• More Is More -- Narrowing the Generalization Gap by Adding Classification Heads [8.883733362171032]
  我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。 私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
  論文  参考訳（メタデータ） (2021-02-09T16:30:33Z)
• Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer [72.5190560787569]
  コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。 本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。 これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
  論文  参考訳（メタデータ） (2020-11-25T00:13:11Z)
• Bi-tuning of Pre-trained Representations [79.58542780707441]
  Bi-tuningは、教師付きと教師なしの両方の事前訓練された表現を下流タスクに微調整するための一般的な学習フレームワークである。 バイチューニングは、事前訓練された表現のバックボーンに2つのヘッドを統合することで、バニラファインチューニングを一般化する。 バイチューニングは、教師付きモデルと教師なしモデルの両方の微調整タスクを大きなマージンで達成する。
  論文  参考訳（メタデータ） (2020-11-12T03:32:25Z)
• Learning perturbation sets for robust machine learning [97.6757418136662]
  我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。 学習した摂動集合の質を定量的かつ質的に測定する。 我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-07-16T16:39:54Z)
• Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction [32.21975128854042]
  本稿では、データセット全体と各クラスの和との符号化レート差を最大化する情報理論尺度である最大符号化レート削減(textMCR2$)の原理を提案する。 我々は,クロスエントロピー,情報ボトルネック,情報ゲイン,契約的・コントラスト的学習など,既存のフレームワークとの関係を明らかにするとともに,多様かつ差別的な特徴を学習するための理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-06-15T17:23:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。