論文の概要: A Unified Geometric Framework for Weighted Contrastive Learning

• arxiv url: http://arxiv.org/abs/2605.13943v1
• Date: Wed, 13 May 2026 17:48:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.433258
• Title: A Unified Geometric Framework for Weighted Contrastive Learning
• Title（参考訳）: 重み付きコントラスト学習のための統一幾何フレームワーク
• Authors: Raphael Vock, Edouard Duchesnay, Benoit Dufumier,
• Abstract要約: 重み付けされたInfoNCEの目的を距離幾何学問題と解釈できることを示す。 この視点は、いくつかの教師付きおよび弱教師付き目的に対して最適な埋め込みの正確な特徴を与える。 その結果, 重み付け方式の選択は, 比較学習が幾何学的に実現可能か, 退化可能か, 不整合かを決定することを示した。
• 参考スコア（独自算出の注目度）: 3.746889836344765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning (CL) aims to preserve relational structure between samples by learning representations that reflect a similarity graph. Yet, the geometry of the resulting embeddings remains poorly understood. Here we show that weighted InfoNCE objectives can be interpreted as Distance Geometry Problems, where the weighting scheme specifies the target geometry to be realized by the representation. This viewpoint yields exact characterizations of the optimal embeddings for several supervised and weakly supervised objectives. In supervised classification, both SupCon and Soft SupCon (a dense relaxation of it where pairs from distinct classes have small non-zero similarity) collapse samples within each class to a single prototype. However, while balanced SupCon recovers the classical regular simplex geometry, class imbalance breaks this symmetry: SupCon induces non-uniform inter-class similarities depending on class sizes, whereas Soft SupCon preserves a regular simplex geometry regardless of class imbalance. In continuous-label settings, our framework reveals a different failure mode: y-Aware CL generally cannot attain its entropic optimum unless the labels lie on a hypersphere, exposing a mismatch between Euclidean label weights and spherical latent similarity. By contrast, geometrically consistent choices such as Euclidean-Euclidean weighting or X-CLR admit unique optimal embeddings. Our results show that the choice of weighting scheme determines whether contrastive learning is geometrically realizable, degenerate, or inconsistent, providing a principled framework for designing contrastive objectives.
• Abstract（参考訳）: 比較学習(CL)は、類似性グラフを反映した表現を学習することで、サンプル間の関係構造を保存することを目的としている。 しかし、結果として生じる埋め込みの幾何学はいまだに理解されていない。 ここでは、重み付けされたInfoNCEの目的を距離幾何学問題と解釈し、重み付けスキームが表現によって実現されるターゲット幾何学を規定することを示す。 この視点は、いくつかの教師付きおよび弱教師付き目的に対して最適な埋め込みの正確な特徴を与える。 教師付き分類において、SupConとSoft SupConはどちらも(異なるクラスのペアが小さな非ゼロ類似性を持つような密集した緩和)、各クラス内のサンプルを1つのプロトタイプに分解する。 しかし、バランスの取れたSupConは古典的な正則な単純幾何を復元するが、クラス不均衡はこの対称性を破る: SupConはクラスサイズによって非一様のクラス間類似性を誘導するが、Soft SupConはクラス不均衡に関係なく正則な単純集合幾何を保存する。 y-Aware CLは一般に、ラベルが超球上にある限り、エントロピー的最適値を得ることができず、ユークリッドラベルの重みと球状ラテント類似度とのミスマッチを露呈する。 対照的に、ユークリッド-ユークリッド重み付けやX-CLRのような幾何学的に一貫した選択は、一意の最適埋め込みを認める。 その結果, 重み付け方式の選択は, 比較学習が幾何学的に実現可能か, 退化可能か, 整合的であるかを判断し, 比較対象を設計するための基本的枠組みを提供することを示した。

関連論文リスト

• Optimal Representations for Generalized Contrastive Learning with Imbalanced Datasets [9.418984531230462]
  クラスが不均衡な場合のコントラスト学習(CL)における最適表現の幾何学的特徴を計算可能とする。 不均衡なクラスとCL損失の大きな一般化された族に対して、同じクラスからの全てのサンプルの最適表現がそれらのクラス平均に崩壊することを証明する。
  論文  参考訳（メタデータ） (2026-05-11T22:18:13Z)
• How Label Imbalance Shapes Geometry: A General Spectral Analysis of Multi-Label Neural Collapse [8.294105732989783]
  本研究では,マルチラベル分類におけるニューラル・コラプス(NC)現象について検討する。 概念的なフレームワークをマルチクラス学習から一般的な相関性と不均衡なマルチラベル設定まで拡張する。
  論文  参考訳（メタデータ） (2026-05-03T14:27:12Z)
• Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
  本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。 ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。 HERLは最先端のアプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-18T10:50:46Z)
• Orthogonalized Policy Optimization:Decoupling Sampling Geometry from Optimization Geometry in RLHF [0.0]
  大規模言語モデルアライメントの目的はしばしば、PPO、DPO、IPO、およびそれらの変種といった、異なるアルゴリズムの集合として提示される。 この研究において、この多様性はより単純な基盤構造を曖昧にしていると論じる。 この絡み合いは、単にモデリングの利便性ではなく、体系的な不安定性の源であることを示す。
  論文  参考訳（メタデータ） (2026-01-18T13:57:44Z)
• Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU [50.9588132578029]
  本稿では,双曲型コントラスト学習における機械学習について検討する。 我々は、画像とテキストを双曲空間に埋め込んだモデルであるMERUにアライメントを適用し、セマンティック階層をよりよくキャプチャする。 提案手法では,双曲空間の特異性を利用したエンテーメントキャリブレーションやノルム正規化など,双曲特異成分を導入している。
  論文  参考訳（メタデータ） (2025-03-19T12:47:37Z)
• Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning [70.0681902472251]
  双曲空間における高品質グラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
  論文  参考訳（メタデータ） (2023-10-27T15:31:42Z)
• Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching [26.994954303270575]
  スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。 従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。 最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
  論文  参考訳（メタデータ） (2023-06-13T17:55:39Z)
• Imbalance Trouble: Revisiting Neural-Collapse Geometry [27.21274327569783]
  本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。 我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。 我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-08-10T18:10:59Z)
• Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
  本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。 GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。 4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-25T03:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。