論文の概要: Similarity search generalisation in contrastive learning with InfoNCE loss

• arxiv url: http://arxiv.org/abs/2607.09405v1
• Date: Fri, 10 Jul 2026 13:37:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.85387
• Title: Similarity search generalisation in contrastive learning with InfoNCE loss
• Title（参考訳）: InfoNCE損失を考慮したコントラスト学習における類似性探索の一般化
• Abstract要約: 類似性探索は、対照的な学習によって訓練された埋め込みモデルの第一の応用である。 最も一般的な対照的な学習損失関数の1つであるInfoNCEでは、$k$負サンプルの集団リスクが、予想されるクロスエントロピーに近い$O(1/k)$であることを示す。 InfoNCE損失における$k$負のサンプルの平均化効果は、$k$が大きくなるにつれて一般化誤差の安定化につながることを示す。
• 参考スコア（独自算出の注目度）: 3.780240063064779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Similarity search is a primary application of embedding models trained by contrastive learning. For one of the most popular contrastive learning loss functions, InfoNCE, we show that the population risk with $k$ negative samples is $O(1/k)$ close to an expected cross-entropy which quantifies deviation between i) a softmax similarity search over unseen data using the learned embedding function, and ii) an idealised softmax search over the same data but using similarity implicitly represented in the positive sample generator. This complements existing interpretations of InfoNCE in the $k\to\infty$ limit which are phrased in terms of mutual information, and alignment versus uniformity in embeddings. To quantify generalisation performance, we introduce a new continuity bound for the InfoNCE loss, obtained via Gâteaux differentiation. The bound preserves the structure of averaging over negative samples present in the loss function and features an ``inverse temperature'' parameter which can be tuned to account for the algorithmic temperature. For embedding functions which are Lipschitz in a parameter, this yields a simple demonstration that the averaging effect of $k$ negative samples in the InfoNCE loss carries over to stabilisation of the generalisation error as $k$ grows.
• Abstract（参考訳）: 類似性探索は、対照的な学習によって訓練された埋め込みモデルの第一の応用である。 最も一般的な対照的な学習損失関数の1つであるInfoNCEでは、$k$負サンプルの集団リスクが、予測されるクロスエントロピーに近い$O(1/k)$であることを示す。 一 学習した埋め込み機能を用いて見知らぬデータを検索するソフトマックス類似性 二 理想化されたソフトマックスで同じデータを探索するが、正のサンプル生成装置に暗黙的に表される類似性を用いて検索すること。 これは InfoNCE の既存の解釈を補完するもので、これは相互情報、埋め込みにおけるアライメント対均一性の言葉で表される$k\to\infty$ limit である。 一般化性能を定量化するために, Gâteaux 微分によって得られる InfoNCE 損失に対する新たな連続性を導入する。 境界は、損失関数に存在する負のサンプルに対する平均値の構造を保存し、アルゴリズムの温度を考慮に入れられる「逆温度」パラメータを特徴付ける。 パラメータにリプシッツである埋め込み関数の場合、InfoNCE損失における$k$負のサンプルの平均化効果が、$k$が増加するにつれて一般化誤差の安定化につながるという単純な実演が得られる。

関連論文リスト

• Posterior Information Dynamics of Diffusion Models for Linear Inverse Problems [11.548853370822343]
  本研究は,各ノイズレベルにおいて,円滑な確率力,正確な後方値と先行値の差について検討する。 測定値の平均化は情報最小平均二乗誤差(I-MMSE)と情報ゲインをデノナイジングエラーの低減に結び付ける。
  論文  参考訳（メタデータ） (2026-08-22T00:53:42Z)
• On Pairwise Quantile Regression -- Statistical Guarantees and Applications [0.0]
  量子回帰は、興味のある実値のランダム変数(r.v.)の条件分布を要約する強力なツールを提供する。 本稿は、説明すべき変数が2つの独立観測の類似関数の形式をとるとき、この方法論をペアワイズケースに拡張することを目的としている。
  論文  参考訳（メタデータ） (2026-07-05T17:51:59Z)
• The Measure of Deception: An Analysis of Data Forging in Machine Unlearning [2.141079906482723]
  アンラーニングを検証する上で重要な課題は鍛造である。 未学習を検証する上で重要な課題は、ターゲットポイントの境界を模倣するデータを偽造し、逆向きに作成することだ。 敵の鍛造は基本的に限定的であり, 偽の未学習クレームは原則として検出可能であることを示す。
  論文  参考訳（メタデータ） (2025-09-06T23:44:05Z)
• Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [19.62665684173391]
  拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。 本稿では,マーチンゲールに基づく誤り分解とシャープな分散境界を導入し,従属データから効率的な学習を可能にする。 これらの知見に基づいて,より高い雑音レベルにおいて精度を向上させるために,事前学習したスコアを活用する分散低減手法であるBootstrapped Score Matching (BSM)を提案する。
  論文  参考訳（メタデータ） (2025-02-14T18:32:22Z)
• Denoising Score Matching with Random Features: Insights on Diffusion Models from Precise Learning Curves [8.038035670274706]
  実験的な研究は、一般化と記憶は、モデルの複雑さとトレーニングデータセットのサイズに影響されていることを示唆している。 単純な理論的条件下で,DSM(Denoising Score Matching)の試験・訓練誤差を正確に表現することで,これらの振る舞いを捉える。 我々の理論的発見は経験的観察と一致している。
  論文  参考訳（メタデータ） (2025-02-01T06:43:33Z)
• Asymptotic Characterisation of Robust Empirical Risk Minimisation Performance in the Presence of Outliers [18.455890316339595]
  我々は,次元$d$とデータ点数$n$が固定比$alpha=n/d$で分岐した場合,高次元の線形回帰について検討し,出力率を含むデータモデルについて検討する。 我々は、$ell$-regularized $ell$, $ell_$, Huber損失を用いて、経験的リスク最小化(ERM)のパフォーマンスの正確性を提供する。
  論文  参考訳（メタデータ） (2023-05-30T12:18:39Z)
• Not All Semantics are Created Equal: Contrastive Self-supervised Learning with Automatic Temperature Individualization [51.41175648612714]
  分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。 提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。 提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-19T19:25:56Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。