Fugu-MT 論文翻訳(概要): Diversity Is All You Need for Contrastive Learning: Spectral Bounds on Gradient Magnitudes

論文の概要: Diversity Is All You Need for Contrastive Learning: Spectral Bounds on Gradient Magnitudes

arxiv url: http://arxiv.org/abs/2510.05767v1
Date: Tue, 07 Oct 2025 10:35:58 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-08 17:57:08.206514
Title: Diversity Is All You Need for Contrastive Learning: Spectral Bounds on Gradient Magnitudes
Title（参考訳）: コントラスト学習に必要な多様性 - グラディエントマグニチュードに関するスペクトル境界
Abstract要約: 我々は、アライメント、温度、バッチスペクトルによって正方形InfoNCE勾配ノルムを束縛する非漸近スペクトルバンドを導出する。 In-batch Whiteningは等方性を促進し、(1.37時間)50ステップの勾配分散を減少させる
参考スコア（独自算出の注目度）: 4.873362301533824
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We derive non-asymptotic spectral bands that bound the squared InfoNCE gradient norm via alignment, temperature, and batch spectrum, recovering the $1/\tau^{2}$ law and closely tracking batch-mean gradients on synthetic data and ImageNet. Using effective rank $R_{\mathrm{eff}}$ as an anisotropy proxy, we design spectrum-aware batch selection, including a fast greedy builder. On ImageNet-100, Greedy-64 cuts time-to-67.5\% top-1 by 15\% vs.\ random (24\% vs.\ Pool--P3) at equal accuracy; CIFAR-10 shows similar gains. In-batch whitening promotes isotropy and reduces 50-step gradient variance by $1.37\times$, matching our theoretical upper bound.
Abstract（参考訳）: 我々は,正方形InfoNCE勾配ノルムをアライメント,温度,バッチスペクトルで束縛し,(1/\tau^{2}\)法則を回復し,合成データとImageNetのバッチ平均勾配を綿密に追跡する非漸近スペクトルバンドを導出した。有効ランク $R_{\mathrm{eff}}$ を異方性プロキシとして使用し、高速なグリーディビルダーを含むスペクトル対応バッチ選択を設計する。 ImageNet-100では、Greedy-64 がトップ-1 から 67.5 までを 15 倍削減する。ランダム (24 % vs。 \ Pool--P3) の精度は等しく、CIFAR-10 も同様の利得を示す。 In-batch Whitening は等方性を促進し、理論上界と一致する 50 段階の勾配分散を $1.37\times$ で減少させる。

関連論文リスト

Spectral Gradient Orthogonalization Improves Differentially Private Training at Scale [17.610398782149293]
空間的相関が勾配エネルギーを低ランクの部分空間に集中させる視覚モデルでは、ほとんどのノイズは信号がほとんどない方向に落ちる。偏極分解によるスペクトル勾配直交化は後処理ステップとして導入される。直交スペクトル信号対雑音比(SNR)が特異ベクトル回復に十分である場合にのみ精度が向上する。
論文参考訳（メタデータ） (2026-08-18T06:35:26Z)
Representation Distribution Matching for One-Step Visual Generation [107.84208192304455]
表現分布マッチング(Representation Distribution Matching, RDM)の設計空間の解明 2つの設計軸、分布がどのように比較され、それらの表現が比較されるかを特定し、それに沿って制御された研究によって3つの結果が得られた。同じレシピは4ステップのFLUX.2[klein]を1ステップのジェネレータに後付けし、GenEvalの4ステップバージョンである0.826から0.794、PickScoreの22.76から22.58を90 H200 GPU時間で上回った。
論文参考訳（メタデータ） (2026-07-02T16:15:38Z)
SpectralDiT: Timestep-Conditioned Spectral Residual Correction for Flow-Matching DiTs [0.0]
SpectralDiTは拡散変換器に時間ステップのスペクトル補正を追加する。モジュールは、残余の更新を低周波と高周波のコンポーネントに分解する。 CIFAR-10のピクセル空間生成では、SpectralDiTはFIDを20.78から19.71に改善し、パッチサイズは1。
論文参考訳（メタデータ） (2026-06-17T07:25:24Z)
Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文参考訳（メタデータ） (2026-06-05T14:00:47Z)
Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。この現象を動機として,特異値で安定化するクリッピングを提案する。
論文参考訳（メタデータ） (2026-05-12T09:24:59Z)
When Does Removing LayerNorm Help? Activation Bounding as a Regime-Dependent Implicit Regularizer [0.0]
Dynamic Tanh (DyT) は学習した tanh (alpha x) で活性化をバウンディングすることで LayerNorm を除去するこの境界は規則に依存した暗黙正則化子であり、一様に有利な置換子ではないことを示す。
論文参考訳（メタデータ） (2026-04-25T20:12:21Z)
Improving the Straight-Through Estimator with Zeroth-Order Information [7.09016563801433]
本稿では,量子化パラメータを用いたニューラルネットワークのトレーニング問題について検討する。我々は、第1次誘導ゼロ階勾配蛍光(FOGZO)を提案する。 FOGZOは、量子化対応事前学習における品質とトレーニング時間のトレードオフを改善することを示す。
論文参考訳（メタデータ） (2025-10-27T23:14:59Z)
Chebyshev Moment Regularization (CMR): Condition-Number Control with Moment Shaping [0.0]
textbfChebyshev Moment Regularization (CMR)を導入する。 CMRは、ログ条件プロキシ形状と内部をチェビシェフモーメントを介して、スペクトルエッジを共同で制御する。これらの結果は、テキスト最適化によるスペクトル事前条件付け(英語版)をサポートし、安定的で正確な学習のために、よく条件付けられた状態に向けて直接ステアリングする。
論文参考訳（メタデータ） (2025-10-17T06:54:41Z)
DRIFT-Net: A Spectral--Coupled Neural Operator for PDEs Learning [16.6687431452785]
ニューラルソルバを用いたPDE動的学習のための textbfDRIFT-Net を提案する。スペクトルブランチとイメージブランチからなるデュアルブランチ設計を採用している。トレーニング設定と予算は同じで,パラメータが少なく,エラーの低減とスループットの向上を実現している。
論文参考訳（メタデータ） (2025-09-29T14:52:31Z)
Clip Body and Tail Separately: High Probability Guarantees for DPSGD with Heavy Tails [20.432871178766927]
Differentially Private Gradient Descent (DPSGD)は、ディープラーニングにおけるトレーニングデータのプライバシを保護するために広く利用されている。 DPSGDは、標準への勾配をクリップし、訓練手順に校正されたノイズを注入する。本稿では,2つの重要な反復を含む新しい手法であるDPSGDを提案する。
論文参考訳（メタデータ） (2024-05-27T16:30:11Z)
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文参考訳（メタデータ） (2023-06-20T16:58:00Z)
Modulate Your Spectrum in Self-Supervised Learning [65.963806450552]
ホワイトニング損失は、自己教師付き学習における特徴の崩壊に対する理論的保証を提供する。埋め込みのスペクトルを変調するフレームワークであるスペクトル変換(ST)を導入する。我々は、トレースロス(INTL)を持つIterNormという新しいSTインスタンスを提案する。
論文参考訳（メタデータ） (2023-05-26T09:59:48Z)
Tight Risk Bounds for Gradient Descent on Separable Data [33.593203156666746]
分離線形分類に適用した非正規化勾配法の一般化特性について検討した。リスク低い境界は、この文脈で最初のものであり、与えられたテール崩壊率に対する上限の厳密性を確立する。
論文参考訳（メタデータ） (2023-03-02T10:31:58Z)
Dataset Distillation with Convexified Implicit Gradients [69.16247946639233]
メタ段階更新の計算に暗黙の勾配を効果的に利用できるかを示す。さらに,凍結した有限幅ニューラルネットワーク上での学習に対応する凸近似をアルゴリズムに装備する。
論文参考訳（メタデータ） (2023-02-13T23:53:16Z)
Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文参考訳（メタデータ） (2022-11-15T19:10:12Z)
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning [77.22019100456595]
通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
論文参考訳（メタデータ） (2022-06-16T17:10:57Z)
See through Gradients: Image Batch Recovery via GradInversion [103.26922860665039]
我々は、より大きなバッチからの入力イメージをResNets(50層)のような大規模ネットワークでも復元できるGradInversionを紹介した。複雑なデータセット、ディープネットワーク、大規模なバッチサイズであっても、GradInversionを通じて、個々のイメージを高い忠実度で復元できるような、驚くほど大量の情報をエンコードする勾配を示す。
論文参考訳（メタデータ） (2021-04-15T16:43:17Z)
Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。我々は、測定値の低減を行う降下ステップを適応的に選択する。これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文参考訳（メタデータ） (2020-06-02T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。