論文の概要: Asymptotic and Finite-Time Guarantees for Langevin-Based Temperature Annealing in InfoNCE

• arxiv url: http://arxiv.org/abs/2603.12552v1
• Date: Fri, 13 Mar 2026 01:32:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.832077
• Title: Asymptotic and Finite-Time Guarantees for Langevin-Based Temperature Annealing in InfoNCE
• Title（参考訳）: InfoNCEにおけるLangevin系温度アニーリングの漸近的および有限時間保証
• Authors: Faris Chaudhry,
• Abstract要約: 対数的逆温度の遅いスケジュールは、大域的最適表現の集合に確率の収束を保証することを示す。 本研究は, 比較学習と模擬焼鈍の関連性を確立し, 温度スケジュールの理解と調整の原理的基礎を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The InfoNCE loss in contrastive learning depends critically on a temperature parameter, yet its dynamics under fixed versus annealed schedules remain poorly understood. We provide a theoretical analysis by modeling embedding evolution under Langevin dynamics on a compact Riemannian manifold. Under mild smoothness and energy-barrier assumptions, we show that classical simulated annealing guarantees extend to this setting: slow logarithmic inverse-temperature schedules ensure convergence in probability to a set of globally optimal representations, while faster schedules risk becoming trapped in suboptimal minima. Our results establish a link between contrastive learning and simulated annealing, providing a principled basis for understanding and tuning temperature schedules.
• Abstract（参考訳）: 対照的な学習におけるInfoNCEの損失は、温度パラメータに大きく依存するが、その固定されたスケジュールとアニールされたスケジュールの下でのダイナミクスは、いまだに理解されていない。 コンパクトリーマン多様体上のランゲヴィン力学の下での埋め込み進化をモデル化して理論的解析を行う。 緩やかな滑らかさとエネルギーバリア仮定の下では、古典的アニーリングの保証がこの設定にまで拡張されることが示される: 遅い対数的逆温度スケジュールは、大域的に最適な表現の集合への確率収束を保証し、より速いスケジュールは、最適下限のミニマに閉じ込められるリスクを持つ。 本研究は, 比較学習と模擬焼鈍の関連性を確立し, 温度スケジュールの理解と調整の原理的基礎を提供する。

関連論文リスト

• MM-TS: Multi-Modal Temperature and Margin Schedules for Contrastive Learning with Long-Tail Data [64.78447637450937]
  マルチモーダル温度とマージンスケジューリング(MM-TS)を提案し、一様温度スケジューリングの概念をマルチモーダルコントラスト学習に拡張する。 本手法はトレーニング中のコントラスト損失の温度を動的に調整し,マルチモーダル環境でのアトラクションと反発力を調節する。
  論文  参考訳（メタデータ） (2026-03-09T10:29:50Z)
• From Observations to States: Latent Time Series Forecasting [65.98504021691666]
  本稿では,TSFを観測回帰から潜時予測に移行する新しいパラダイムであるLatent Time Series Forecasting(LatentTSF)を提案する。 具体的には、LatentTSFはAutoEncoderを使用して、各段階での観測結果を高次元の潜在状態空間に投影する。 提案する潜伏目標は,予測潜伏状態と地道状態と観測値との相互情報を暗黙的に最大化する。
  論文  参考訳（メタデータ） (2026-01-30T20:39:44Z)
• Bridging the Gap Between Bayesian Deep Learning and Ensemble Weather Forecasts [100.26854618129039]
  天気予報は、大気のカオス的な性質によって根本的に挑戦されている。 ベイジアンディープラーニング(BDL)の最近の進歩は、有望だがしばしば非接続な代替手段を提供する。 気象予報のための統合型BDLフレームワークにより,これらのパラダイムを橋渡しする。
  論文  参考訳（メタデータ） (2025-11-18T07:49:52Z)
• Convergence of Stochastic Gradient Langevin Dynamics in the Lazy Training Regime [4.297070083645049]
  継続的モデルは、ディープラーニングにおける最適化アルゴリズムのトレーニングダイナミクスに関する洞察を提供する。 我々は勾配ランゲヴィンダイナミクス(SGLD)の非漸近収束解析を確立する。 損失関数のヘシアン上の規則性条件下では、乗法および状態依存雑音を持つSGLDは、高い確率でトレーニング過程を通して非退化核を生成することを示す。
  論文  参考訳（メタデータ） (2025-10-24T08:28:53Z)
• Thermal state preparation by repeated interactions at and beyond the Lindblad limit [41.94295877935867]
  本研究は, 繰り返し相互作用プロトコルによる熱流動特性と関連する準備(シミュレーション)時間について検討する。 我々は,Mpemba様の効果を観察する:最大混合状態から中間温度状態への熱化は,低温状態よりも長い時間を要する。
  論文  参考訳（メタデータ） (2025-06-13T18:34:49Z)
• Accelerating the discovery of steady-states of planetary interior dynamics with machine learning [2.4608654148475235]
  機械学習を用いてマントル対流シミュレーションを高速化する概念を提案する。 我々は97のシミュレーションに基づいてフィードフォワードニューラルネットワークをトレーニングし、定常的な温度分布を予測する。 定常状態に達するために必要な時間ステップの数は、中央値3.75で減少する。
  論文  参考訳（メタデータ） (2024-08-30T13:55:19Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Finite-time Landauer principle beyond weak coupling [0.0]
  我々は、1つのフェルミオンモードの占有において符号化されたビットに対してランダウアーの原理の有限時間版を開発する。 非マルコフ的かつ強い結合効果を考慮したランダウアー境界に対する有限時間補正を特徴付ける。
  論文  参考訳（メタデータ） (2022-11-03T18:00:13Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Adiabatic Sensing Technique for Optimal Temperature Estimation using Trapped Ions [64.31011847952006]
  捕捉イオンを用いた最適なフォノン温度推定のための断熱法を提案する。 フォノンの熱分布に関する関連する情報は、スピンの集合的な自由度に伝達することができる。 それぞれの熱状態確率は、各スピン励起構成に近似的にマッピングされることを示す。
  論文  参考訳（メタデータ） (2020-12-16T12:58:08Z)
• Variational optimization of the quantum annealing schedule for the Lechner-Hauke-Zoller scheme [0.0]
  非単調なアニーリングスケジュールは残留エネルギーと最終基底状態の忠実度によって測定される性能を最適化する。 この改善は、エネルギーギャップの顕著な増加を伴わない。
  論文  参考訳（メタデータ） (2020-12-03T04:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。