論文の概要: Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data

• arxiv url: http://arxiv.org/abs/2212.13827v1
• Date: Wed, 28 Dec 2022 14:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 14:53:11.041849
• Title: Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data
• Title（参考訳）: クラス不均衡データの効率的な一般化のためのサドルポイントの抽出
• Authors: Harsh Rangwani, Sumukh K Aithal, Mayank Mishra, R. Venkatesh Babu
• Abstract要約: 我々は、再重み付けとマージンに基づく手法で訓練されたニューラルネットワークの損失状況を調べることによって、クラス不均衡の学習問題を解析する。 本研究では,サドル点から逃れるために設計された最適化手法を,マイノリティクラスにおける一般化の効率化に有効に活用できることを見出した。 SAMを使用することで、最先端のベクタースケーリング損失よりもマイノリティークラスでは6.2%の精度が向上し、不均衡なデータセット全体の平均4%が増加した。
• 参考スコア（独自算出の注目度）: 40.64419633190104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world datasets exhibit imbalances of varying types and degrees. Several techniques based on re-weighting and margin adjustment of loss are often used to enhance the performance of neural networks, particularly on minority classes. In this work, we analyze the class-imbalanced learning problem by examining the loss landscape of neural networks trained with re-weighting and margin-based techniques. Specifically, we examine the spectral density of Hessian of class-wise loss, through which we observe that the network weights converge to a saddle point in the loss landscapes of minority classes. Following this observation, we also find that optimization methods designed to escape from saddle points can be effectively used to improve generalization on minority classes. We further theoretically and empirically demonstrate that Sharpness-Aware Minimization (SAM), a recent technique that encourages convergence to a flat minima, can be effectively used to escape saddle points for minority classes. Using SAM results in a 6.2\% increase in accuracy on the minority classes over the state-of-the-art Vector Scaling Loss, leading to an overall average increase of 4\% across imbalanced datasets. The code is available at: https://github.com/val-iisc/Saddle-LongTail.
• Abstract（参考訳）: 現実世界のデータセットは、さまざまなタイプの不均衡を示す。 再重み付けと損失のマージン調整に基づくいくつかの手法は、ニューラルネットワーク、特にマイノリティクラスの性能を高めるためにしばしば用いられる。 本研究では,再重み付けとマージンベース手法を用いて学習したニューラルネットワークの損失状況を調べることにより,クラス不均衡な学習問題を解析する。 具体的には、ネットワーク重みがマイノリティクラスにおける損失ランドスケープのサドル点に収束することを観察する、クラスワイド損失のヘッセンのスペクトル密度について検討する。 この観察の結果,サドル点から逃れるための最適化手法が,マイノリティクラスにおける一般化に有効であることがわかった。 さらに,平らなミニマへの収束を促す最近の手法であるSharpness-Aware Minimization (SAM) が,少数クラスのサドルポイントを効果的に回避できることを示す。 SAMを使用することで、最先端のベクタースケーリング損失よりもマイノリティークラスでは6.2\%の精度が向上し、不均衡なデータセット全体の平均4\%が向上する。 コードは、https://github.com/val-iisc/Saddle-LongTail.comで入手できる。

関連論文リスト

• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning [97.81549071978789]
  勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-04-19T08:23:23Z)
• Imbalanced Classification via Explicit Gradient Learning From Augmented Data [0.0]
  本稿では、与えられた不均衡なデータセットを新しいマイノリティインスタンスに拡張する、新しい深層メタラーニング手法を提案する。 提案手法の利点は, 種々の不均衡比を持つ合成および実世界のデータセット上で実証される。
  論文  参考訳（メタデータ） (2022-02-21T22:16:50Z)
• Striking the Right Balance: Recall Loss for Semantic Segmentation [24.047359482606307]
  クラス不均衡は、セマンティックセグメンテーションのようなコンピュータビジョンアプリケーションにおける基本的な問題である。 我々は,バニラクロスエントロピー損失を変形させることにより,ハードクラスの鉱業損失を提案する。 本研究では, 標準クロスエントロピー損失と逆周波数重み付き損失との間に, 新たなリコール損失が徐々に変化することを示す。
  論文  参考訳（メタデータ） (2021-06-28T18:02:03Z)
• MetaBalance: High-Performance Neural Networks for Class-Imbalanced Data [42.81296448544681]
  あるクラスが他のクラスよりもはるかに多くのサンプルを含むクラス不均衡データは、現実世界のアプリケーションではユビキタスである。 クラス不均衡を扱う標準的なテクニックは、通常、再重み付けされた損失や再均衡されたデータのトレーニングによって機能する。 本手法は,画像分類,クレジットカード不正検出,ローンデフォルト予測,顔認識タスクを極めて不均衡なデータで評価する。
  論文  参考訳（メタデータ） (2021-06-17T16:42:50Z)
• Distributional Robustness Loss for Long-tail Learning [20.800627115140465]
  現実世界のデータはしばしばアンバランスで長尾ですが、深いモデルは頻繁なクラスの存在下でまれなクラスを認識するのに苦労します。 ディープネットワークの特徴抽出器部分は,このバイアスに大きく悩まされていることを示す。 モデルが頭と尾の両方のクラスで高品質の表現を学ぶことを奨励するロバストネス理論に基づく新しい損失を提案します。
  論文  参考訳（メタデータ） (2021-04-07T11:34:04Z)
• Procrustean Training for Imbalanced Deep Learning [40.85940706868622]
  ニューラルネットワークは,そのデータの大部分を主要なクラスに分類することで,まずはマイナークラスに不適合になりがちであることを示す。 授業間の学習の進捗を均等化する新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-05T04:44:01Z)
• M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
  ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。 本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。 提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-04-01T13:21:17Z)
• Equalization Loss for Long-Tailed Object Recognition [109.91045951333835]
  最先端のオブジェクト検出手法は、大きな語彙と長い尾を持つデータセットでは依然として不十分である。 そこで本稿では,長期的希少なカテゴリーの課題に対処するために,同化損失という,シンプルだが効果的な損失を提案する。 LVISベンチマークでは,レアおよび共通カテゴリのAP利得が4.1%,レアおよび共通カテゴリが4.8%である。
  論文  参考訳（メタデータ） (2020-03-11T09:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。