論文の概要: InfoNCE Induces Gaussian Distribution

• arxiv url: http://arxiv.org/abs/2602.24012v1
• Date: Fri, 27 Feb 2026 13:35:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.448866
• Title: InfoNCE Induces Gaussian Distribution
• Title（参考訳）: InfoNCEはガウス分布を誘導する
• Authors: Roy Betser, Eyal Gofer, Meir Yossef Levi, Guy Gilboa,
• Abstract要約: 対照的なトレーニングの損失はInfoNCEとその変種である。 我々は、InfoNCEの目的が、対照的な訓練から現れる表現においてガウス構造を誘導することを示す。 ガウスモデルにより、学習された表現の原理的な分析処理が可能となり、コントラスト学習における幅広い応用を支援することが期待されている。
• 参考スコア（独自算出の注目度）: 7.8922077372145685
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Contrastive learning has become a cornerstone of modern representation learning, allowing training with massive unlabeled data for both task-specific and general (foundation) models. A prototypical loss in contrastive training is InfoNCE and its variants. In this work, we show that the InfoNCE objective induces Gaussian structure in representations that emerge from contrastive training. We establish this result in two complementary regimes. First, we show that under certain alignment and concentration assumptions, projections of the high-dimensional representation asymptotically approach a multivariate Gaussian distribution. Next, under less strict assumptions, we show that adding a small asymptotically vanishing regularization term that promotes low feature norm and high feature entropy leads to similar asymptotic results. We support our analysis with experiments on synthetic and CIFAR-10 datasets across multiple encoder architectures and sizes, demonstrating consistent Gaussian behavior. This perspective provides a principled explanation for commonly observed Gaussianity in contrastive representations. The resulting Gaussian model enables principled analytical treatment of learned representations and is expected to support a wide range of applications in contrastive learning.
• Abstract（参考訳）: コントラスト学習は現代の表現学習の基盤となり、タスク固有のモデルと一般的な(基礎的な)モデルの両方において、大量のラベルのないデータによるトレーニングを可能にする。 対照的な訓練における原型的損失はInfoNCEとその変種である。 本研究では、InfoNCEの目的が、コントラストトレーニングから現れる表現においてガウス構造を誘導することを示す。 この結果は2つの補完体制にまとめる。 まず、あるアライメントと濃度の仮定の下で、高次元表現の射影が漸近的に多変量ガウス分布に近づくことを示す。 次に、より厳密な仮定の下で、低い特徴ノルムと高い特徴エントロピーを促進する小さな漸近的に消滅する正規化項を加えると、同様の漸近的な結果をもたらすことを示す。 我々は,複数のエンコーダアーキテクチャとサイズにまたがる合成およびCIFAR-10データセットの実験を行い,一貫したガウス的挙動を示す。 この観点は、対照的な表現において一般的に観察されるガウス性について原則化された説明を与える。 ガウスモデルにより、学習された表現の原理的な分析処理が可能となり、コントラスト学習における幅広い応用を支援することが期待されている。

関連論文リスト

• When does Gaussian equivalence fail and how to fix it: Non-universal behavior of random features with quadratic scaling [15.148577493784051]
  ガウス同値理論 (GET) は、高次元の複素特徴の挙動をガウス級数によって捉えることができると述べている。 しかし、数値実験により、この同値性は一般的なスケーリング体制下での単純な埋め込みでも失敗する可能性があることが示されている。 我々は、低次元のガウス成分を高次元ガウスモデルに付加すると考えられる条件等価(CGE)モデルを導入する。
  論文  参考訳（メタデータ） (2025-12-03T00:23:12Z)
• Asymptotic Analysis of Two-Layer Neural Networks after One Gradient Step under Gaussian Mixtures Data with Structure [0.8287206589886879]
  本研究では,構造データに基づく2層ニューラルネットワーク(NN)の学習と一般化性能について検討した。 特定の条件下では,高次モデルが非線形ニューラルネットワークと等価であることを示す。
  論文  参考訳（メタデータ） (2025-03-02T11:28:54Z)
• The Unreasonable Effectiveness of Gaussian Score Approximation for Diffusion Models and its Applications [1.8416014644193066]
  学習したニューラルスコアと2種類の抽出可能な分布のスコアを比較した。 学習したニューラルスコアは、中等度から高雑音スケールに対する線形(ガウス)近似によって支配される。 その結果,試料品質を維持しつつ,最初の15～30%のサンプリングステップをスキップできることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T21:31:27Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Learning Disentangled Discrete Representations [22.5004558029479]
  本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。 本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
  論文  参考訳（メタデータ） (2023-07-26T12:29:58Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。