論文の概要: Optimal Representations for Generalized Contrastive Learning with Imbalanced Datasets

• arxiv url: http://arxiv.org/abs/2605.11291v1
• Date: Mon, 11 May 2026 22:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.455929
• Title: Optimal Representations for Generalized Contrastive Learning with Imbalanced Datasets
• Title（参考訳）: 不均衡データセットを用いた一般化コントラスト学習のための最適表現法
• Authors: Thuan Nguyen, Shuchin Aeron, D. Richard Brown, Prakash Ishwar,
• Abstract要約: クラスが不均衡な場合のコントラスト学習(CL)における最適表現の幾何学的特徴を計算可能とする。 不均衡なクラスとCL損失の大きな一般化された族に対して、同じクラスからの全てのサンプルの最適表現がそれらのクラス平均に崩壊することを証明する。
• 参考スコア（独自算出の注目度）: 9.418984531230462
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this paper, we provide a computable characterization of the geometry of optimal representations in Contrastive Learning (CL) when the classes are imbalanced. When classes are balanced and the representation dimension is greater than the number of classes, it is well-known that the optimal representations exhibit Neural Collapse (NC), i.e., representations from the same class collapse to their class means and the class means form an Equiangular Tight Frame (ETF). For imbalanced classes and a large, generalized family of CL losses, we prove that the optimal representations of all samples from the same class collapse to their class means and their geometry exhibits an angular symmetry structure that is determined by the relative class proportions. In general, we show that the geometry can be determined by solving a convex optimization problem. Exploiting this symmetry structure, we analytically investigate a special case where class imbalance is extreme and prove that CL exhibits a phenomenon called Minority Collapse (MC) where all samples from the minority classes (classes with small probabilities) collapse into a single vector, whenever the class imbalance exceeds a threshold, which in turn depends on the regularity properties of the CL loss used and on the number of negative samples. Numerical results are provided to illustrate these phenomena and corroborate the theoretical results. We conclude by identifying a number of open problems.
• Abstract（参考訳）: 本稿では,クラスが不均衡である場合のコントラスト学習(CL)における最適表現の幾何学的特徴を計算可能として提示する。 クラスがバランスをとっており、表現次元がクラスの数より大きい場合、最適な表現がニューラル・コラプス(NC)、すなわち同じクラス崩壊からクラス平均への表現が等角的タイトフレーム(ETF)を形成することが知られている。 不均衡なクラスとCL損失の大きな一般化された族に対して、同じクラス崩壊からそれらのクラス平均への全てのサンプルの最適表現が証明され、それらの幾何学は相対類比によって決定される角対称構造を示す。 一般論として,凸最適化問題を解くことにより,幾何が決定可能であることを示す。 この対称性構造をエクスプロイトし、クラス不均衡が極端である特別なケースを解析的に検討し、クラス不均衡がしきい値を超えると、クラス不均衡が使用されるCL損失の正則性や負のサンプル数に依存するとき、少数クラス(小さな確率を持つクラス)の全てのサンプルが1つのベクトルに崩壊する、マイノリティ崩壊(MC)と呼ばれる現象を示すことを証明した。 これらの現象を説明する数値的な結果が提供され、理論的な結果を裏付ける。 私たちはいくつかのオープンな問題を特定して結論付けます。

関連論文リスト

• Equilibrium contrastive learning for imbalanced image classification [5.198140836737882]
  コントラスト学習(CL)は画像分類において主要な手法であるが,不均衡なデータセットによる限られた性能を示した。 近年, 理想的な正則な幾何学的構成を促進するために, いくつかの教師付きCL法が提案されている。 本稿では,幾何平衡を促進するために設計されたCLフレームワークであるEquilibrium Contrastive Learning (ECL)を提案する。
  論文  参考訳（メタデータ） (2026-02-10T08:07:56Z)
• Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse [16.42457033976047]
  ニューラル・コラプス(NC)を示す表現によって、SCL(Servised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)の損失が最小化されることを実証する。 また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。
  論文  参考訳（メタデータ） (2023-11-09T04:40:32Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching [26.994954303270575]
  スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。 従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。 最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
  論文  参考訳（メタデータ） (2023-06-13T17:55:39Z)
• Predicting and Enhancing the Fairness of DNNs with the Curvature of Perceptual Manifolds [44.79535333220044]
  近年の研究では、テールクラスは必ずしも学習が困難ではないことが示されており、サンプルバランスのデータセットではモデルバイアスが観察されている。 本研究ではまず,モデルフェアネスを解析するための幾何学的視点を確立し,次いで,一連の幾何学的測度を体系的に提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:49:23Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Imbalance Trouble: Revisiting Neural-Collapse Geometry [27.21274327569783]
  本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。 我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。 我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-08-10T18:10:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。