論文の概要: A Continuous-time Stochastic Gradient Descent Method for Continuous Data
- arxiv url: http://arxiv.org/abs/2112.03754v1
- Date: Tue, 7 Dec 2021 15:09:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 17:59:10.694716
- Title: A Continuous-time Stochastic Gradient Descent Method for Continuous Data
- Title（参考訳）: 連続データに対する連続時間確率勾配降下法
- Authors: Kexin Jin, Jonas Latz, Chenguang Liu, Carola-Bibiane Sch\"onlieb
- Abstract要約: 本研究では,連続データを用いた最適化問題に対する勾配降下アルゴリズムの連続時間変種について検討する。
連続データ空間における複数のサンプリングパターンについて検討し、実行時にデータシミュレートやストリームを可能にする。
ノイズの多い関数データと物理インフォームドニューラルネットワークの回帰問題における勾配過程の適用性について考察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimization problems with continuous data appear in, e.g., robust machine
learning, functional data analysis, and variational inference. Here, the target
function is given as an integral over a family of (continuously) indexed target
functions - integrated with respect to a probability measure. Such problems can
often be solved by stochastic optimization methods: performing optimization
steps with respect to the indexed target function with randomly switched
indices. In this work, we study a continuous-time variant of the stochastic
gradient descent algorithm for optimization problems with continuous data. This
so-called stochastic gradient process consists in a gradient flow minimizing an
indexed target function that is coupled with a continuous-time index process
determining the index. Index processes are, e.g., reflected diffusions, pure
jump processes, or other L\'evy processes on compact spaces. Thus, we study
multiple sampling patterns for the continuous data space and allow for data
simulated or streamed at runtime of the algorithm. We analyze the approximation
properties of the stochastic gradient process and study its longtime behavior
and ergodicity under constant and decreasing learning rates. We end with
illustrating the applicability of the stochastic gradient process in a
polynomial regression problem with noisy functional data, as well as in a
physics-informed neural network.
- Abstract（参考訳）: 連続データによる最適化問題は、ロバストな機械学習、機能的データ分析、変分推論などに見られる。
ここで、対象関数は(連続的に)指数付けられた対象関数の族に対する積分として与えられ、確率測度に関して積分される。
このような問題は、確率的最適化法によってしばしば解決される:ランダムにスイッチされたインデックスを持つインデックス付きターゲット関数に対して最適化ステップを実行する。
本研究では,連続データを用いた最適化問題に対する確率勾配降下アルゴリズムの連続時間変種について検討する。
このいわゆる確率的勾配過程は、インデックスを決定する連続時間インデックスプロセスと結合されるインデックス付きターゲット関数を最小化する勾配フローからなる。
指数過程は、例えば、反射拡散、純粋なジャンプ過程、あるいはコンパクト空間上の他のl\'evy過程である。
そこで本研究では,連続的なデータ空間に対して複数のサンプリングパターンを探索し,アルゴリズムの実行時にシミュレーションやストリームを行えるようにする。
本研究では,確率的勾配過程の近似特性を解析し,その長期的挙動とエルゴーディシティを,定値および減少学習率で検討した。
最後に, 多項式回帰問題における確率的勾配過程の適用性や, 物理的に変形したニューラルネットワークの適用性について考察する。
関連論文リスト
- Information Geometry and Beta Link for Optimizing Sparse Variational Student-t Processes [6.37512592611305]
勾配勾配勾配を用いた実世界のデータセットの計算効率と柔軟性を向上させるために,学生Tプロセスが提案されている。
アダムのような伝統的な勾配降下法はパラメータ空間の幾何を十分に活用しない可能性があり、収束と準最適性能を遅くする可能性がある。
我々は,情報幾何学から自然勾配法を適用し,学生-tプロセスの変分パラメータ最適化を行う。
論文 参考訳（メタデータ） (2024-08-13T07:53:39Z) - Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization [0.6906005491572401]
バッチ降下勾配 (SGD) における雑音は, 目的関数の平滑化の効果を示す。
我々は,学習率とバッチサイズによってスムース化の度合いが変化する新しい累積最適化アルゴリズムを解析する。
論文 参考訳（メタデータ） (2023-11-15T07:27:40Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳（メタデータ） (2022-03-02T22:35:58Z) - Stochastic Optimization under Distributional Drift [3.0229888038442922]
予測と高い確率の両方で有効な境界に焦点をあて、平均化を繰り返すアルゴリズムに対して非漸近収束保証を提供する。
勾配法の追従効率がステップ崩壊スケジュールから大きく向上する低ドリフト・ツー・ノイズ方式を同定する。
論文 参考訳（メタデータ） (2021-08-16T21:57:39Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Stochastic Gradient Langevin with Delayed Gradients [29.6870062491741]
本研究では,計算に用いた遅延勾配情報による誤差が測定値の収束率に有意な影響を及ぼさないことを示す。
計算に用いた遅延勾配情報による誤差は, 測定値の収束率に有意な影響を与えず, ウォールクロック時間における高速化の可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-12T17:51:30Z) - Analysis of Stochastic Gradient Descent in Continuous Time [0.0]
勾配降下の連続時間表現として勾配過程を導入する。
学習速度が0に近づくと,勾配流に弱収束することを示す。
この場合、過程は、全対象関数の大域的最小に集中する点質量に弱収束する。
論文 参考訳（メタデータ） (2020-04-15T16:04:41Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。