論文の概要: Probabilistic Variational Contrastive Learning

• arxiv url: http://arxiv.org/abs/2506.10159v1
• Date: Wed, 11 Jun 2025 20:26:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.439772
• Title: Probabilistic Variational Contrastive Learning
• Title（参考訳）: 確率的変分コントラスト学習
• Authors: Minoh Jeong, Seonho Kim, Alfred Hero,
• Abstract要約: 我々は,エビデンスローバウンド(ELBO)を最大化するデコーダフリーフレームワークを提案する。 約$q_theta(z|x)$を投影正規分布としてモデル化し、確率的埋め込みのサンプリングを可能にする。
• 参考スコア（独自算出の注目度）: 2.512491726995032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deterministic embeddings learned by contrastive learning (CL) methods such as SimCLR and SupCon achieve state-of-the-art performance but lack a principled mechanism for uncertainty quantification. We propose Variational Contrastive Learning (VCL), a decoder-free framework that maximizes the evidence lower bound (ELBO) by interpreting the InfoNCE loss as a surrogate reconstruction term and adding a KL divergence regularizer to a uniform prior on the unit hypersphere. We model the approximate posterior $q_\theta(z|x)$ as a projected normal distribution, enabling the sampling of probabilistic embeddings. Our two instantiations--VSimCLR and VSupCon--replace deterministic embeddings with samples from $q_\theta(z|x)$ and incorporate a normalized KL term into the loss. Experiments on multiple benchmarks demonstrate that VCL mitigates dimensional collapse, enhances mutual information with class labels, and matches or outperforms deterministic baselines in classification accuracy, all the while providing meaningful uncertainty estimates through the posterior model. VCL thus equips contrastive learning with a probabilistic foundation, serving as a new basis for contrastive approaches.
• Abstract（参考訳）: SimCLRやSupConのようなコントラスト学習(CL)手法によって学習された決定論的埋め込みは、最先端の性能を達成するが、不確実性定量化の原理的なメカニズムは欠如している。 本稿では,インフォネッセ損失を代用再構成項として解釈し,単位超球に先立って一様にKL分散正規化器を追加することで,エビデンスの下限(ELBO)を最大化するデコーダフリーフレームワークである変分コントラスト学習(VCL)を提案する。 約$q_\theta(z|x)$を投影正規分布としてモデル化し、確率的埋め込みのサンプリングを可能にする。 我々の2つのインスタンスー-VSimCLRとVSupCon--$q_\theta(z|x)$のサンプルで決定論的埋め込みを置き換え、正規化されたKL項を損失に組み込む。 複数のベンチマークの実験では、VCLは次元的崩壊を緩和し、クラスラベルとの相互情報を強化し、分類精度において決定論的基準線と一致または性能を向上する一方で、後続モデルによる有意義な不確実性推定を提供することを示した。 したがって、VCLは確率論的基礎を持つ対照的な学習を持ち、対照的なアプローチの新たな基盤として機能する。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Low-Rank Approximation of Structural Redundancy for Self-Supervised Learning [2.3072402651280517]
  本研究では,その有効性に光を当てるために,再構成SSLのデータ生成機構について検討する。 ラベル付きサンプルの無限の量で、完全線形近似に十分かつ必要な条件を提供する。 この条件により、低ランク因子化による冗長成分の近似を提案する。
  論文  参考訳（メタデータ） (2024-02-10T04:45:27Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• Reduction from Complementary-Label Learning to Probability Estimates [15.835526669091157]
  補完ラベル学習(Complementary-Label Learning, CLL)は、弱い教師付き学習問題である。 本稿では,補足クラスの確率推定に対する新しい視点推論を提案する。 いくつかの重要なCLLアプローチの説明を提供し、改良されたアルゴリズムを設計できる。
  論文  参考訳（メタデータ） (2022-09-20T06:36:51Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。