論文の概要: Sketched Linear Contrastive Learning: Approximation, Optimization, and Statistical Scaling
- arxiv url: http://arxiv.org/abs/2606.26617v1
- Date: Thu, 25 Jun 2026 05:20:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.179397
- Title: Sketched Linear Contrastive Learning: Approximation, Optimization, and Statistical Scaling
- Title（参考訳）: Sketched Linear Contrastive Learning:近似、最適化、統計的スケーリング
- Abstract要約: 本研究では,2組のガウス潜在変数構成の下で,コントラスト学習のためのスケッチ付き線形モデルについて検討する。
我々は、リスク分解を既約リスク、近似誤差、GDバイアス、GD分散、およびクロス項に導出する。
標準的な線形回帰スケーリング法則と比較すると、対照的な設定は2つのビュー間の相互作用を学習しなければならない。
- 参考スコア（独自算出の注目度）: 12.993805198900498
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling laws describe how learning performance varies with model size, data size, and compute. While recent theoretical work has established scaling laws for sketched linear regression, much less is understood for contrastive representation learning. In this paper, we study a sketched linear model for contrastive learning under a paired Gaussian latent-variable setup. The learner observes only sketched views of two correlated variables and trains a bilinear contrastive score by full-batch empirical gradient descent. We analyze a Gaussian-negative quadratic contrastive surrogate under aligned power-law spectra and a contrastive source condition, where we derive a risk decomposition into irreducible risk, approximation error, GD bias, GD variance, and a cross term. The cross term is controlled by the bias and variance and therefore does not affect the upper-bound scaling. Our main theorem gives an explicit scaling law with respect to sketch dimension $M$, sample size $N$, and effective optimization horizon $L_{\mathrm{eff}}γ$. Compared with standard linear-regression scaling laws, the contrastive setting must learn interactions between two views, and this changes how optimization and finite-sample noise scale with model size, data, and training time. This provides a first theoretical step toward understanding scaling behavior in contrastive learning and gives guidance for balancing model size, data, and optimization compute.
- Abstract（参考訳）: スケーリング法則は、学習のパフォーマンスがモデルのサイズ、データサイズ、計算によってどのように変化するかを記述する。
最近の理論的研究は、スケッチされた線形回帰のスケーリング法則を確立しているが、対照的な表現学習では理解されていない。
本稿では,2組のガウス潜在変数構成下でのコントラスト学習のためのスケッチ付き線形モデルについて検討する。
学習者は2つの相関変数のスケッチされたビューのみを観察し、フルバッチな経験的勾配降下によって双線形のコントラストスコアを訓練する。
ガウスの負の2次コントラッシブ・サロゲートをアライメント・パワー・ロースペクトルとコントラスト・ソース条件の下で解析し、そこではリスク分解を既約リスク、近似誤差、GDバイアス、GD分散、およびクロス項に導出する。
クロス項はバイアスと分散によって制御されるため、上界のスケーリングには影響しない。
我々の主定理は、スケッチ次元$M$、サンプルサイズ$N$および効果的な最適化水平線$L_{\mathrm{eff}}γ$に関する明示的なスケーリング法則を与える。
標準線形回帰スケーリング法則と比較して、対照的な設定は2つのビュー間の相互作用を学習しなければならない。
これは、対照的な学習におけるスケーリング行動を理解するための最初の理論的ステップを提供し、モデルのサイズ、データ、最適化計算のバランスをとるためのガイダンスを提供する。
関連論文リスト
- SGD in Multiclass Logistic Regression: Sequential Learning and Scaling Laws [55.81298869922287]
多数のクラスを持つ高次元ガウス混合モデルにおける多クラスロジスティック回帰のトレーニングダイナミクスについて検討する。
我々は,勾配に基づく最適化の下で,クロスエントロピーリスクを規定する厳密なスケーリング法則を確立する。
論文 参考訳（メタデータ） (2026-09-07T18:30:09Z) - Towards Robust Scaling Laws for Optimizers [89.21160945066737]
経験的スケーリング法則は、モデルのサイズやトレーニングデータの増加に伴って損失を予測するために広く使用されている。
本研究では, 損失分解を既約, 近似, 最適化誤差に分解した結果, チンチラ方式のスケーリング法則が自然に現れることを示す。
論文 参考訳（メタデータ） (2026-02-07T21:40:33Z) - Fast Escape, Slow Convergence: Learning Dynamics of Phase Retrieval under Power-Law Data [15.766916122461923]
スケーリング法則は、データ、計算、トレーニング時間によって学習のパフォーマンスがどのように改善され、現代のディープラーニングにおける中心的なテーマとなったかを記述している。
共分散スペクトルがパワー則に従う異方性ガウス入力による位相探索を正準非線形モデルで行う。
力学が二次元系に崩壊する等方性の場合とは異なり、異方性は、方程式の無限階層が要約統計の進化を支配する定性的に新しい状態をもたらす。
論文 参考訳（メタデータ） (2025-11-24T00:21:17Z) - HAM: A Hyperbolic Step to Regulate Implicit Bias [14.701241300621648]
我々は、HAM(Hyperbolic Minimization)がオーバーヘッドステップと新しいハイパーボリックミラーステップとを交互に行うことを示す。
ハムの暗黙の偏見は、厳密なトレーニングでさえ、常にパフォーマンスを高める。
ハムは、様々なスパリフィケーション法と組み合わせて、芸術の状況を改善するのに特に効果的である。
論文 参考訳（メタデータ） (2025-06-03T08:47:16Z) - Do Larger Language Models Generalize Better? A Scaling Law for Implicit Reasoning at Pretraining Time [73.22651918134808]
この研究は、モデルサイズのスケーリングによる直感的効果を示し、言語モデル(LM)におけるスケーリングと推論の関係に関する新たな洞察を提供する。
我々は,実世界の大規模知識グラフの構造と分布を再現する合成暗黙のマルチホップ推論環境において,ゼロからLMを事前学習する。
次に、実世界の事前学習における暗黙的推論の単純化とみなすことができるマルチホップ推論を必要とする、グラフの欠落したエッジを完遂するLMの能力を評価する。
論文 参考訳（メタデータ） (2025-04-04T17:57:22Z) - Scaling Law Phenomena Across Regression Paradigms: Multiple and Kernel Approaches [28.569601803576845]
トランスフォーマーアーキテクチャを持つモデルの場合、テスト損失はモデルサイズ、データセットサイズ、トレーニングで使用される計算量と強力な関係を示す。
我々の分析はスケーリング法則に関する深い洞察を与え、大きな言語モデルに対する理解を深める可能性がある。
論文 参考訳（メタデータ） (2025-03-03T08:57:49Z) - Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression [5.801904710149222]
機械学習において、スケーリング法則は、モデルとデータサイズをスケールアップすることで、モデルパフォーマンスがどのように改善されるかを記述する。
本稿では,2次パラメータ化モデルを用いた線形回帰のスケーリング法則について検討する。
その結果、正準線形回帰では、特徴学習による一般化と不要な曲線と、パラメトリゼーション法とアルゴリズムに対する情報理論の下界との明確な分離が提供される。
論文 参考訳（メタデータ） (2025-02-13T09:29:04Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳（メタデータ） (2023-06-01T15:18:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。