論文の概要: On the Comparison of Optimizers for Imbalanced Learning

• arxiv url: http://arxiv.org/abs/2610.06421v1
• Date: Mon, 05 Oct 2026 14:34:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 08:32:16.759681
• Title: On the Comparison of Optimizers for Imbalanced Learning
• Title（参考訳）: 不均衡学習のための最適化器の比較について
• Abstract要約: 深層学習における小ステップ学習をモデル化するために, 連続時間における理想的な測地について検討する。 我々は、許容できるマイノリティ構造に関係なく、過半数の損失が最適化される地域を特徴付ける。 これらの境界は、ユークリッド系よりも、符号、スペクトル、ニュートン系の少数振幅に緩やかに依存している。
• 参考スコア（独自算出の注目度）: 6.00811084207761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data imbalance is pervasive in machine learning, from rare words and anomalies to underrepresented patterns in heterogeneous or cross-tabulated data. We study idealized optimizers geometries in continuous time to model small-step training in deep learning. We assume that the source of imbalance is unobserved: the optimizer has only access to the aggregate training loss ignoring the exact contributions of the majority and minority groups. In this setting, we characterize a region where majority losses are optimized regardless of the admissible minority structure. We derive explicit equations of this zone and bounds on the time needed to leave it. These bounds exhibit a milder dependence on minority amplitude for sign, spectral, and Newton descent than for Euclidean gradient descent. Experiments with AdamW and Muon suggest similar advantages over SGD across language, tabular, and image tasks.
• Abstract（参考訳）: データ不均衡は、まれな単語や異常から、不均一なデータや横断的なデータで表現されていないパターンまで、機械学習において広く利用されている。 我々は、ディープラーニングにおける小さなステップトレーニングをモデル化するために、最適最適化されたジオメトリを連続的に研究する。 最適化者は、多数派や少数派の正確な貢献を無視して、総合的なトレーニング損失にのみアクセスすることができる。 この設定では、許容できるマイノリティ構造に関係なく、過半数の損失が最適化される領域を特徴付ける。 我々は、このゾーンの明示的な方程式を導出し、それを残すのに必要な時間に制限する。 これらの境界は、ユークリッド勾配よりも、符号、スペクトル、ニュートン降下に対するマイノリティ振幅に緩やかに依存している。 AdamW と Muon による実験では、言語、表、イメージタスクにまたがる SGD に類似した利点が示唆されている。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Robust Distributed Learning: Tight Error Bounds and Breakdown Point under Data Heterogeneity [11.2120847961379]
  本稿では,より現実的な不均一性モデル,すなわち(G,B)-段階的な相似性について考察し,既存の理論よりも学習問題を扱えることを示す。 また、分散学習アルゴリズムの学習誤差に新たな低い境界があることも証明する。
  論文  参考訳（メタデータ） (2023-09-24T09:29:28Z)
• A Theoretical Analysis of the Learning Dynamics under Class Imbalance [0.10231119246773925]
  本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。 この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。 GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
  論文  参考訳（メタデータ） (2022-07-01T12:54:38Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Imbalanced Classification via Explicit Gradient Learning From Augmented Data [0.0]
  本稿では、与えられた不均衡なデータセットを新しいマイノリティインスタンスに拡張する、新しい深層メタラーニング手法を提案する。 提案手法の利点は, 種々の不均衡比を持つ合成および実世界のデータセット上で実証される。
  論文  参考訳（メタデータ） (2022-02-21T22:16:50Z)
• To SMOTE, or not to SMOTE? [13.224071661974596]
  不均衡二項分類問題では、客観的計量はしばしば非対称であり、より高いペナルティとマイノリティ標本を関連付ける。 この不一致に対処するために、トレーニング前にデータをよりバランスよくするバランシングスキームが提案された。 最近の一貫した分類器の研究は、メートル法差が予測性能を阻害しないことを示唆している。
  論文  参考訳（メタデータ） (2022-01-21T03:37:39Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。