論文の概要: Theoretical Analysis of Contrastive Learning under Imbalanced Data: From Training Dynamics to a Pruning Solution

• arxiv url: http://arxiv.org/abs/2602.10357v1
• Date: Tue, 10 Feb 2026 23:06:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.330439
• Title: Theoretical Analysis of Contrastive Learning under Imbalanced Data: From Training Dynamics to a Pruning Solution
• Title（参考訳）: 不均衡データによるコントラスト学習の理論解析:トレーニングダイナミクスからプルーニング・ソリューションへ
• Authors: Haixu Liao, Yating Zhou, Songyang Zhang, Meng Wang, Shuai Zhang,
• Abstract要約: 不均衡なデータの下でトランスフォーマーベースのエンコーダを用いて、コントラスト学習のトレーニングダイナミクスを解析するための理論的枠組みを開発する。 その結果、ニューロンの重みはトレーニングの3つの異なる段階を通じて進化し、多数派の特徴、少数派の特徴、ノイズのダイナミクスが異なることが明らかとなった。 これらのニューロンレベルの行動に触発されて、プルーニングは不均衡によって劣化した性能を回復し、特徴分離を強化し、概念的洞察と実践的ガイダンスの両方を提供する。
• 参考スコア（独自算出の注目度）: 33.0181633510156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has emerged as a powerful framework for learning generalizable representations, yet its theoretical understanding remains limited, particularly under imbalanced data distributions that are prevalent in real-world applications. Such an imbalance can degrade representation quality and induce biased model behavior, yet a rigorous characterization of these effects is lacking. In this work, we develop a theoretical framework to analyze the training dynamics of contrastive learning with Transformer-based encoders under imbalanced data. Our results reveal that neuron weights evolve through three distinct stages of training, with different dynamics for majority features, minority features, and noise. We further show that minority features reduce representational capacity, increase the need for more complex architectures, and hinder the separation of ground-truth features from noise. Inspired by these neuron-level behaviors, we show that pruning restores performance degraded by imbalance and enhances feature separation, offering both conceptual insights and practical guidance. Major theoretical findings are validated through numerical experiments.
• Abstract（参考訳）: コントラスト学習は、一般化可能な表現を学習するための強力なフレームワークとして登場したが、その理論的理解は、特に現実世界のアプリケーションでよく見られる不均衡なデータ分布の下では限られている。 このような不均衡は表現の質を低下させ、偏りのあるモデル行動を引き起こすが、これらの効果の厳密な特徴は欠如している。 本研究では,コントラスト学習のトレーニングダイナミクスを,不均衡なデータの下でトランスフォーマーベースのエンコーダを用いて解析する理論的枠組みを開発する。 その結果、ニューロンの重みはトレーニングの3つの異なる段階を通じて進化し、多数派の特徴、少数派の特徴、ノイズのダイナミクスが異なることが明らかとなった。 さらに,少数機能により表現能力が低下し,より複雑なアーキテクチャの必要性が増し,基礎構造とノイズの分離が阻害されることが示唆された。 これらのニューロンレベルの行動に触発されて、プルーニングは不均衡によって劣化した性能を回復し、特徴分離を強化し、概念的洞察と実践的ガイダンスの両方を提供する。 主な理論的知見は数値実験によって検証される。

関連論文リスト

• Why Loss Re-weighting Works If You Stop Early: Training Dynamics of Unconstrained Features [34.88156871518115]
  本稿では,この現象を透過的に実証し解析するための小型モデル(SSM)を提案する。 一方、SSMは、バニラ経験的リスク最小化が、訓練の早い段階でマイノリティよりも多数派を区別することを優先的に学んでいることを明らかにしている。 対照的に、再重み付けはバランスの取れた学習力学を復元し、多数派とマイノリティの両方に関連する特徴の同時学習を可能にする。
  論文  参考訳（メタデータ） (2026-01-17T11:26:53Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
  実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。 クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。 バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-05T05:52:44Z)
• Loss Dynamics of Temporal Difference Reinforcement Learning [36.772501199987076]
  線形関数近似器を用いた値関数の時間差学習のためのケースラーニング曲線について検討した。 本研究では,学習力学と台地が特徴構造,学習率,割引係数,報酬関数にどのように依存するかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T18:17:50Z)
• A Theoretical Analysis of the Learning Dynamics under Class Imbalance [0.10231119246773925]
  本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。 この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。 GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
  論文  参考訳（メタデータ） (2022-07-01T12:54:38Z)
• Towards Balanced Learning for Instance Recognition [149.76724446376977]
  本稿では,インスタンス認識のためのバランス学習のためのフレームワークであるLibra R-CNNを提案する。 IoUバランスのサンプリング、バランスの取れた特徴ピラミッド、客観的再重み付けをそれぞれ統合し、サンプル、特徴、客観的レベルの不均衡を低減します。
  論文  参考訳（メタデータ） (2021-08-23T13:40:45Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
  観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。 近年の文献では、この目標を達成するために表現学習を探求している。 因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-23T19:06:03Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。