論文の概要: The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2606.04280v1
• Date: Tue, 02 Jun 2026 23:08:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.422884
• Title: The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning
• Title（参考訳）: 損失は十分ではない:コントラスト表現学習における条件と誘導バイアスのサンプリング
• Authors: Justinas Zaliaduonis, Patrick Putzky, Till Richter, Sergios Gatidis,
• Abstract要約: 多様性条件を定式化する測度理論の枠組みを開発する。 標準のフルサポートvon Mises-Fisher設定が多様性条件の満足度を示すことを示す。 本研究は, 比較表現学習において, サンプリング機構と帰納バイアスがどのように相互作用するかを明らかにするものである。
• 参考スコア（独自算出の注目度）: 2.575874871258672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has become a leading paradigm for self-supervised representation learning, yet the conditions under which it recovers meaningful latent geometry remain incompletely understood. We develop a measure-theoretic framework formalizing the diversity condition, a support requirement on positive-pair sampling that is necessary for isometric latent recovery. We show that the standard full-support von Mises-Fisher setting implies the satisfaction of the diversity condition and as a consequence global contrastive loss minimizers recover latent geometry up to orthogonal transformation, while restricted conditionals can make non-orthogonal maps attain strictly lower asymptotic contrastive loss. We introduce a support-corrected Information Noise Contrastive Estimation (InfoNCE) variant as a theoretical fix: this correction makes orthogonal latent space recovery achievable but does not uniquely select it. Experiments on synthetic benchmarks validate the identifiability predictions, and CIFAR-10 experiments are consistent with the qualitative prediction that architectural inductive bias becomes more important when sampling diversity is limited. Together, our results clarify how sampling mechanisms and encoder inductive bias interact in contrastive representation learning.
• Abstract（参考訳）: コントラスト学習は自己指導型表現学習の主要なパラダイムとなっているが、意味のある潜在幾何学を復元する条件はいまだに完全に理解されていない。 我々は,等尺性潜伏回復に必要な正対サンプリングのサポート要件である多様性条件を定式化する測度理論フレームワークを開発する。 標準のフルサポートvon Mises-Fisher設定は多様性条件の満足度を示し、その結果、大域的コントラスト損失最小化器は直交変換まで潜時幾何学を回復する一方、制限条件は非直交写像を漸近的コントラスト損失を厳密に低くすることができることを示す。 この補正により直交遅延空間の復元が可能となるが,一意に選択することはできない。 CIFAR-10実験は、サンプリング多様性が制限された場合、アーキテクチャの帰納的バイアスがより重要になるという定性的な予測と一致している。 そこで本研究では, サンプリング機構とエンコーダ帰納バイアスが, コントラスト表現学習においてどのように相互作用するかを明らかにする。

関連論文リスト

• Machine Learning for Stress Testing: Uncertainty Decomposition in Causal Panel Prediction [2.289837306672451]
  規制ストレステストでは、仮説的なマクロ経済シナリオの下で信用損失を予測する必要がある。 パネルにおけるポリシーパスの反ファクト推論のためのフレームワークを提案する。 実失業データを用いたシミュレーションおよび半合成実験により,すべての結果を検証した。
  論文  参考訳（メタデータ） (2026-03-08T03:22:38Z)
• Heterogeneous Uncertainty-Guided Composed Image Retrieval with Fine-Grained Probabilistic Learning [49.28548464288051]
  Composed Image Retrieval (CIR)は、参照画像と修正テキストを組み合わせることで、画像検索を可能にする。 CIR三重項の内在ノイズは内在的不確実性を引き起こし、モデルの堅牢性を脅かす。 本稿では,これらの制約を克服するための不確実性誘導(HUG)パラダイムを提案する。
  論文  参考訳（メタデータ） (2026-01-16T16:05:49Z)
• Convergence and Generalization of Anti-Regularization for Parametric Models [0.0]
  反正則化は損失関数に逆符号を持つ報酬項を導入する。 スペクトル安全性条件と信頼領域制約を定式化する。 我々は、プロジェクション演算子と勾配クリッピングを組み合わせた軽量な安全ガードを設計し、安定した介入を保証する。
  論文  参考訳（メタデータ） (2025-08-24T15:34:17Z)
• ROTI-GCV: Generalized Cross-Validation for right-ROTationally Invariant Data [5.830619388189558]
  高次元正規化回帰における2つの重要なタスクは、正確な予測のために正規化強度を調整し、サンプル外リスクを推定することである。 問題のある条件下でクロスバリデーションを確実に行うための新しいフレームワーク ROTI-GCV を導入する。
  論文  参考訳（メタデータ） (2024-06-17T15:50:00Z)
• Fairness under Covariate Shift: Improving Fairness-Accuracy tradeoff with few Unlabeled Test Samples [21.144077993862652]
  我々は、ラベル付きトレーニングセットとともに、ラベル付きテストサンプルの小さなセットのみが利用可能である教師なしのシステムで運用する。 我々は、損失定式化による最適化が、最先端のベースラインよりも優れていることを実験的に検証した。 提案手法は, それらの性能を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2023-10-11T14:39:51Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。