論文の概要: Optimal Representations for Generalized Contrastive Learning with Imbalanced Datasets

• arxiv url: http://arxiv.org/abs/2605.11291v1
• Date: Mon, 11 May 2026 22:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.455929
• Title: Optimal Representations for Generalized Contrastive Learning with Imbalanced Datasets
• Title（参考訳）: 不均衡データセットを用いた一般化コントラスト学習のための最適表現法
• Abstract要約: クラスが不均衡な場合のコントラスト学習(CL)における最適表現の幾何学的特徴を計算可能とする。 不均衡なクラスとCL損失の大きな一般化された族に対して、同じクラスからの全てのサンプルの最適表現がそれらのクラス平均に崩壊することを証明する。
• 参考スコア（独自算出の注目度）: 9.418984531230462
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this paper, we provide a computable characterization of the geometry of optimal representations in Contrastive Learning (CL) when the classes are imbalanced. When classes are balanced and the representation dimension is greater than the number of classes, it is well-known that the optimal representations exhibit Neural Collapse (NC), i.e., representations from the same class collapse to their class means and the class means form an Equiangular Tight Frame (ETF). For imbalanced classes and a large, generalized family of CL losses, we prove that the optimal representations of all samples from the same class collapse to their class means and their geometry exhibits an angular symmetry structure that is determined by the relative class proportions. In general, we show that the geometry can be determined by solving a convex optimization problem. Exploiting this symmetry structure, we analytically investigate a special case where class imbalance is extreme and prove that CL exhibits a phenomenon called Minority Collapse (MC) where all samples from the minority classes (classes with small probabilities) collapse into a single vector, whenever the class imbalance exceeds a threshold, which in turn depends on the regularity properties of the CL loss used and on the number of negative samples. Numerical results are provided to illustrate these phenomena and corroborate the theoretical results. We conclude by identifying a number of open problems.
• Abstract（参考訳）: 本稿では,クラスが不均衡である場合のコントラスト学習(CL)における最適表現の幾何学的特徴を計算可能として提示する。 クラスがバランスをとっており、表現次元がクラスの数より大きい場合、最適な表現がニューラル・コラプス(NC)、すなわち同じクラス崩壊からクラス平均への表現が等角的タイトフレーム(ETF)を形成することが知られている。 不均衡なクラスとCL損失の大きな一般化された族に対して、同じクラス崩壊からそれらのクラス平均への全てのサンプルの最適表現が証明され、それらの幾何学は相対類比によって決定される角対称構造を示す。 一般論として,凸最適化問題を解くことにより,幾何が決定可能であることを示す。 この対称性構造をエクスプロイトし、クラス不均衡が極端である特別なケースを解析的に検討し、クラス不均衡がしきい値を超えると、クラス不均衡が使用されるCL損失の正則性や負のサンプル数に依存するとき、少数クラス(小さな確率を持つクラス)の全てのサンプルが1つのベクトルに崩壊する、マイノリティ崩壊(MC)と呼ばれる現象を示すことを証明した。 これらの現象を説明する数値的な結果が提供され、理論的な結果を裏付ける。 私たちはいくつかのオープンな問題を特定して結論付けます。

関連論文リスト

• A Unified Geometric Framework for Weighted Contrastive Learning [3.746889836344765]
  重み付けされたInfoNCEの目的を距離幾何学問題と解釈できることを示す。 この視点は、いくつかの教師付きおよび弱教師付き目的に対して最適な埋め込みの正確な特徴を与える。 その結果, 重み付け方式の選択は, 比較学習が幾何学的に実現可能か, 退化可能か, 不整合かを決定することを示した。
  論文  参考訳（メタデータ） (2026-05-13T17:48:36Z)
• Equilibrium contrastive learning for imbalanced image classification [5.198140836737882]
  コントラスト学習(CL)は画像分類において主要な手法であるが,不均衡なデータセットによる限られた性能を示した。 近年, 理想的な正則な幾何学的構成を促進するために, いくつかの教師付きCL法が提案されている。 本稿では,幾何平衡を促進するために設計されたCLフレームワークであるEquilibrium Contrastive Learning (ECL)を提案する。
  論文  参考訳（メタデータ） (2026-02-10T08:07:56Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• All-around Neural Collapse for Imbalanced Classification [27.467732819969935]
  textbfAll-around textbfNeural textbfCollapse framework (AllNC)は、個々のアクティベーション、クラス平均、分類子ベクトルを含む複数の側面にわたるNeural Collapseを包括的に復元することを目的としている。 我々は、その効果を徹底的に分析し、バランスの取れた設定と不均衡な設定の両方で最先端を達成する複数のベンチマークデータセットで検証する。
  論文  参考訳（メタデータ） (2024-08-14T02:06:24Z)
• Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse [16.42457033976047]
  ニューラル・コラプス(NC)を示す表現によって、SCL(Servised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)の損失が最小化されることを実証する。 また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。
  論文  参考訳（メタデータ） (2023-11-09T04:40:32Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching [26.994954303270575]
  スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。 従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。 最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
  論文  参考訳（メタデータ） (2023-06-13T17:55:39Z)
• Predicting and Enhancing the Fairness of DNNs with the Curvature of Perceptual Manifolds [44.79535333220044]
  近年の研究では、テールクラスは必ずしも学習が困難ではないことが示されており、サンプルバランスのデータセットではモデルバイアスが観察されている。 本研究ではまず,モデルフェアネスを解析するための幾何学的視点を確立し,次いで,一連の幾何学的測度を体系的に提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:49:23Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Imbalance Trouble: Revisiting Neural-Collapse Geometry [27.21274327569783]
  本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。 我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。 我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-08-10T18:10:59Z)
• Local and Global Uniform Convexity Conditions [88.3673525964507]
  有限次元空間におけるノルム球上の均一凸性と滑らか性の諸特性について概説する。 学習理論やオンライン学習,オフライン最適化などにおいて,近年の複雑性に関する知見をより深めるために,これらの条件のローカルバージョンを構築した。 これらの条件と局所的な仮定を利用する最適化と機械学習の実践的な例は、新しい複雑さの結果をもたらすと結論付けている。
  論文  参考訳（メタデータ） (2021-02-09T21:09:53Z)
• Rethinking preventing class-collapsing in metric learning with margin-based losses [81.22825616879936]
  メトリクス学習は、視覚的に類似したインスタンスが近接し、異なるインスタンスが分離した埋め込みを求める。 マージンベースの損失は、クラスの全サンプルを埋め込み空間の単一点に投影する傾向がある。 そこで本研究では,各サンプルが最寄りの同一クラスをバッチで選択するように,埋め込み損失の簡易な修正を提案する。
  論文  参考訳（メタデータ） (2020-06-09T09:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。