論文の概要: Your contrastive learning problem is secretly a distribution alignment problem

• arxiv url: http://arxiv.org/abs/2502.20141v1
• Date: Thu, 27 Feb 2025 14:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:56:32.524988
• Title: Your contrastive learning problem is secretly a distribution alignment problem
• Title（参考訳）: 対照的な学習問題は、秘密裏に分布アライメント問題である
• Authors: Zihao Chen, Chi-Heng Lin, Ran Liu, Jingyun Xiao, Eva L Dyer,
• Abstract要約: 我々は、視覚と分布アライメントに広く用いられているノイズコントラスト推定損失の接続を構築した。 潜伏剤の分布からより多くの情報を利用することで、本手法は増分標本集合内の関係をより分布に意識した操作を可能にする。
• 参考スコア（独自算出の注目度）: 11.75699373180322
• License:
• Abstract: Despite the success of contrastive learning (CL) in vision and language, its theoretical foundations and mechanisms for building representations remain poorly understood. In this work, we build connections between noise contrastive estimation losses widely used in CL and distribution alignment with entropic optimal transport (OT). This connection allows us to develop a family of different losses and multistep iterative variants for existing CL methods. Intuitively, by using more information from the distribution of latents, our approach allows a more distribution-aware manipulation of the relationships within augmented sample sets. We provide theoretical insights and experimental evidence demonstrating the benefits of our approach for {\em generalized contrastive alignment}. Through this framework, it is possible to leverage tools in OT to build unbalanced losses to handle noisy views and customize the representation space by changing the constraints on alignment. By reframing contrastive learning as an alignment problem and leveraging existing optimization tools for OT, our work provides new insights and connections between different self-supervised learning models in addition to new tools that can be more easily adapted to incorporate domain knowledge into learning.
• Abstract（参考訳）: 視覚と言語におけるコントラッシブラーニング(CL)の成功にもかかわらず、その理論基盤と表現構築機構はいまだに理解されていない。 本研究では,CLで広く使用されているノイズコントラスト推定損失と,エントロピー最適輸送(OT)による分布アライメントの接続を構築する。 この接続により、既存のCLメソッドに対して、異なる損失の族と多段階反復的変種を開発できる。 直感的には、潜伏者の分布からより多くの情報を利用することで、我々のアプローチは、増補されたサンプル集合内の関係をより分布に意識した操作を可能にする。 我々は、一般化されたコントラッシブアライメントに対する我々のアプローチの利点を示す理論的洞察と実験的証拠を提供する。 このフレームワークにより、OTのツールを活用して、不均衡な損失を発生させ、ノイズの多いビューを処理し、アライメントの制約を変更して表現空間をカスタマイズすることができる。 コントラスト学習をアライメント問題として再定義し、既存のOT最適化ツールを活用することで、我々の研究は、ドメイン知識を学習に組み込むためにより容易に適用できる新しいツールに加えて、異なる自己教師付き学習モデル間の新たな洞察と接続を提供する。

関連論文リスト

• Revisiting Self-Supervised Heterogeneous Graph Learning from Spectral Clustering Perspective [52.662463893268225]
  自己教師付きヘテロジニアスグラフ学習(SHGL)は様々なシナリオにおいて有望な可能性を示している。 既存のSHGLメソッドには2つの大きな制限がある。 ランクと二重整合性制約によって強化された新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-12-01T09:33:20Z)
• SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning [0.0]
  提案した類似性-直交性(SimO)損失を利用したアンカーフリーコントラスト学習(L)手法を提案する。 提案手法は,2つの主目的を同時に最適化するセミメトリック判別損失関数を最小化する。 埋め込み空間におけるSimO損失の影響を可視化する。
  論文  参考訳（メタデータ） (2024-10-07T17:41:10Z)
• Towards Robust Recommendation via Decision Boundary-aware Graph Contrastive Learning [25.514007761856632]
  グラフコントラスト学習(GCL)は、データ間隔によるバイアスの低減効果により、レコメンデータシステムにおいて注目を集めている。 これらの手法は, 動的学習過程における意味的不変性と難易度とのバランスをとるのに苦慮していると論じる。 本稿では,モデル能力の進化に伴い,コントラッシブペアのセマンティック不変性を効果的に維持し,動的に適応する新しいGCLベースのレコメンデーションフレームワークRGCLを提案する。
  論文  参考訳（メタデータ） (2024-07-14T13:03:35Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
  我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。 対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。 これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:26:20Z)
• Your Contrastive Learning Is Secretly Doing Stochastic Neighbor Embedding [12.421540007814937]
  自己教師付きコントラスト学習(SSCL)は、ラベルのないデータから強力な特徴を抽出することに成功した。 我々はSSCLの理論的理解に寄与し、その古典的なデータ可視化手法である隣接埋め込みとの関係を明らかにする。 ドメインに依存しない拡張、暗黙のバイアス、学習特徴の堅牢性に関する新しい分析結果を提供する。
  論文  参考訳（メタデータ） (2022-05-30T02:39:29Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• Revisiting Deep Semi-supervised Learning: An Empirical Distribution Alignment Framework and Its Generalization Bound [97.93945601881407]
  経験分布アライメントによる半教師あり学習(SLEDA)と呼ばれる深層半教師あり学習フレームワークを提案する。 ラベル付きデータに対するトレーニング誤差を最小化することにより,半教師付き学習の一般化誤差を効果的にバウンドできることを示す。 新しい枠組みと理論的境界に基づいて、Augmented Distribution Alignment Network(ADA-Net)と呼ばれるシンプルで効果的な深層半教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2022-03-13T11:59:52Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。