論文の概要: Approximation in Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2610.15388v1
• Date: Sun, 11 Oct 2026 06:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 01:22:37.307016
• Title: Approximation in Contrastive Representation Learning
• Title（参考訳）: コントラスト表現学習における近似
• Abstract要約: 標準内積スコアが一般的に分離不能なPMIを効果的に近似できる理由は不明である。 深部ニューラルネットワークスコアリング関数は普遍的に一貫したものであり,近似誤差率はPMI関数の滑らかさに依存する。
• 参考スコア（独自算出の注目度）: 33.939897572859564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive representation learning (CRL) is a fundamental paradigm for learning transferable representations. Recent work identifies its population target as the pointwise mutual information (PMI) $\log\frac{p(x,y)}{p_X(x)p_Y(y)}$ between two modalities $X,Y$, where $p$ is the joint density function and $p_X,p_Y$ are the marginals. However, it remains unclear why standard inner-product scores $f(x)^\top g(y)$ can effectively approximate a generally nonseparable population target PMI. In this paper, we address this question from the aspect of approximation for CRL. By linking PMI to a compact operator, we show that $D$-dimensional inner-product models perform rank-$D$ spectral approximation, with error controlled by the spectral tail. We then study neural network realizations: in general settings, we show that deep neural network scoring functions are universally consistent, and the approximation error rates depend on the smoothness of the PMI function; under structured low-rank data models we obtain improved rates attained by moderate-width encoders. Finally, we establish a fast calibration rate from contrastive excess risk to downstream retrieval error under a density-ratio Tsybakov noise condition.
• Abstract（参考訳）: コントラスト表現学習(CRL)は、伝達可能な表現を学習するための基本パラダイムである。 最近の研究は、その人口目標をポイントワイド相互情報(PMI) $\log\frac{p(x,y)}{p_Xと定義している。 (x)p_Y (y)} 2つのモダリティ間の$は$X,Y$、$p$は関節密度関数、$p_X,p_Y$は限界関数である。 しかし、なぜ標準内積が$fになるのかは定かではない。 (x)^\top g (y)$は、一般に分離不能な人口ターゲット PMI を効果的に近似することができる。 本稿では,CRLの近似の観点から,この問題に対処する。 PMIをコンパクト作用素にリンクすることにより、D$次元内積モデルがスペクトルテールによって制御された誤差でランク-D$スペクトル近似を行うことを示す。 一般に、深層ニューラルネットワークスコアリング関数は普遍的に一貫したものであり、近似誤差率はPMI関数の滑らかさに依存する。 最後に、比重比のツィバコフ雑音条件下で、コントラスト的過剰リスクから下流検索誤差への高速な校正速度を確立する。

関連論文リスト

• Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm [7.852384021898989]
  Federated Learning(FL)は、データ分散とプライベートを維持しながら、ローカルデバイスがグローバルモデルを共同でトレーニングすることを可能にする、新興の分散機械学習パラダイムである。 我々は,無線モノのインターネット上での通信ノイズの重畳状況において,FLのための凸尾型ノイズ低減アルゴリズムであるVRA-FedSGDを提案する。 VRA-FedSGDは、重い通信ノイズを抑制するために、運動量削減と還元還元集約機構を利用する。
  論文  参考訳（メタデータ） (2026-06-21T12:18:43Z)
• High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking [69.90407799170687]
  分散最適化における高確率収束保証について検討する。 その結果, 地平線上の条件は, 比較時間と同一であることがわかった。
  論文  参考訳（メタデータ） (2026-04-30T22:45:21Z)
• Approximation and Generalization Abilities of Score-based Neural Network Generative Models for Sub-Gaussian Distributions [16.42916299495508]
  スコアベースニューラルネットワーク生成モデル(SGM)の近似と能力について検討する。 我々のフレームワークは普遍的であり、従来の作業よりも軽度な仮定の下でSGMの収束率を確立するために使用できる。
  論文  参考訳（メタデータ） (2025-05-16T05:38:28Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Optimal score estimation via empirical Bayes smoothing [13.685846094715364]
  未知確率分布$rho*$のスコア関数を$n$独立分布および$d$次元における同一分布観測から推定する問題について検討する。 ガウスカーネルに基づく正規化スコア推定器は、一致するミニマックス下界によって最適に示され、この値が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-12T16:17:40Z)
• Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
  リスクに敏感な強化学習(RL)について検討する。 本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。 提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2023-11-20T17:44:40Z)
• An Improved Analysis of Gradient Tracking for Decentralized Machine Learning [34.144764431505486]
  トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。 エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。 ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
  論文  参考訳（メタデータ） (2022-02-08T12:58:14Z)
• Exponential Family Model-Based Reinforcement Learning via Score Matching [97.31477125728844]
  有限水平表層強化学習(RL)のための楽観的モデルベースアルゴリズムSMRLを提案する。 SMRLは、リッジ回帰によるモデルパラメータの効率的な推定を可能にする非正規化密度推定手法であるスコアマッチングを用いる。
  論文  参考訳（メタデータ） (2021-12-28T15:51:07Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
  一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。 我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。 我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
  論文  参考訳（メタデータ） (2020-05-21T17:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。