論文の概要: Multi-Marginal Inverse Optimal Transport for Contrastive Learning Via Explicit Anchor-Positive-Negative Coupling
- arxiv url: http://arxiv.org/abs/2609.33741v1
- Date: Sun, 27 Sep 2026 16:41:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 17:11:57.400889
- Title: Multi-Marginal Inverse Optimal Transport for Contrastive Learning Via Explicit Anchor-Positive-Negative Coupling
- Title（参考訳）: 明示的アンカー-正負負のカップリングによるコントラスト学習のためのマルチマルジナル逆最適輸送
- Abstract要約: 我々は、Neg-MMIOT-CLと呼ばれる新しい逆OT(IOT)コントラスト学習(CL)アプローチを開発した。
我々は,Neg-MMIOT-CLが次元崩壊を緩和し,下流性能を向上させることを示す。
また、既存のOTベースのコントラスト学習法よりも大幅に改善されていることを示す。
- 参考スコア（独自算出の注目度）: 10.21645499945075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inverse Optimal Transport (OT) based methods for representation learning learn representations such that the global OT coupling between a pair of data marginals in the representation space, concentrates on the positive pairs. This is in contrast to previous methods that primarily focused on pairwise matching. However, these methods $\textit{DO NOT}$ utilize negative pairs and hence are not truly contrastive in their approach. We show that this leads to issues of dimensional collapse and hence degraded downstream performance. To alleviate this, we develop a novel multi-marginal (MM) inverse OT (IOT) contrastive learning (CL) approach called Neg-MMIOT-CL, which learns representations such that the global multi-marginal OT (MMOT) coupling between a triple of data marginals, with respect to a carefully designed ground-cost between triplets of data points in the representation space, concentrates on the anchor-positive-negative $\textit{triplets}$. For a latent class model, we empirically show that Neg-MMIOT-CL alleviates dimensional collapse. Furthermore, for a specific choice of ground cost for all triplets in representation space, we prove that the optimal representation configuration for Neg-MMIOT-CL exhibits equiangular property for within-class and across-class representations, which translates to Neural-Collapse when the representation dimension is larger than the number of classes minus one -- a result that is $\textit{previously established only}$ for pairwise contrastive learning methods. Finally, we propose Neg-IOT-CL-PushPull, that is a computationally efficient alternative to Neg-MMIOT-CL, alleviating the high cost of computing MMOT plans needed during implementation. We apply these methods on both synthetic and real-world datasets and show significant improvements over existing OT-based contrastive learning methods.
- Abstract（参考訳）: Inverse Optimal Transport (OT) based method for representation learning representations that the global OT coupling between a pair of data marginals in the representation space, is focus on the positive pairs。
これは、主にペアワイズマッチングに焦点を当てた以前の方法とは対照的である。
しかし、これらのメソッド $\textit{DO NOT}$ は負のペアを利用するので、それらのアプローチでは真に対照的ではない。
これは次元的崩壊の問題につながり、ダウンストリーム性能が低下することを示している。
これを軽減するために、我々はNeg-MMIOT-CLと呼ばれる新しいマルチマージナル逆学習(Multi-marginal inverse OT, IOT)アプローチを開発した。これは、データの三重項間の大域的マルチマージナルOT(MMOT)結合のような表現を学習し、表現空間内のデータポイントの三重項間を慎重に設計した基盤コストに対して、アンカー正負の$\textit{triplets}$に集中する。
潜在クラスモデルでは、Neg-MMIOT-CLが次元崩壊を緩和することを示す。
さらに、表現空間における全ての三重項の接地コストの特定の選択について、Neg-MMIOT-CL の最適表現構成がクラス内およびクラス間表現の等角性を示すことを証明した。
最後に,Neg-MMIOT-CLに代わる計算効率のよいNeg-IOT-CL-PushPullを提案する。
我々はこれらの手法を合成と実世界の両方のデータセットに適用し、既存のOTベースのコントラスト学習法よりも大幅に改善されていることを示す。
関連論文リスト
- Variational Entropic Optimal Transport [67.76725267984578]
本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。
VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。
合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
論文 参考訳（メタデータ） (2026-02-02T15:48:44Z) - Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。
対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
論文 参考訳（メタデータ） (2024-07-23T13:55:33Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-13T04:16:40Z) - A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。
このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
論文 参考訳（メタデータ） (2023-02-06T23:34:51Z) - Supervised Contrastive Learning as Multi-Objective Optimization for
Fine-Tuning Large Pre-trained Language Models [3.759936323189417]
教師付きコントラスト学習(SCL)は,ほとんどの分類タスクにおいて優れた性能を発揮することが示されている。
本研究では,RoBERTa言語モデルの微調整フェーズにおける多目的最適化問題としてSCL問題を定式化する。
論文 参考訳（メタデータ） (2022-09-28T15:13:58Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳（メタデータ） (2022-06-17T04:07:45Z) - Provable Stochastic Optimization for Global Contrastive Learning: Small
Batch Does Not Harm Performance [53.49803579981569]
各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。
SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。
本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-24T22:16:53Z) - Max-Margin Contrastive Learning [120.32963353348674]
教師なし表現学習のためのMMCL(max-margin contrastive learning)を提案する。
提案手法は2次最適化問題を用いて得られたスパース支持ベクトルとして負を選択する。
我々は、標準ビジョンベンチマークデータセットに対するアプローチを検証し、教師なし表現学習におけるより良い性能を示す。
論文 参考訳（メタデータ） (2021-12-21T18:56:54Z) - Exploring Non-Contrastive Representation Learning for Deep Clustering [23.546602131801205]
ディープクラスタリングのための非コントラスト表現学習は、負の例のない代表的手法であるBYOLに基づいている。
NCCは、すべてのクラスタが十分に分離され、クラスタ内の例がコンパクトな埋め込み空間を形成する。
ImageNet-1Kを含むいくつかのクラスタリングベンチマークデータセットの実験結果は、NCCが最先端の手法よりかなり優れていることを示している。
論文 参考訳（メタデータ） (2021-11-23T12:21:53Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-18T07:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。