論文の概要: Weak error analysis for stochastic gradient descent optimization
algorithms
- arxiv url: http://arxiv.org/abs/2007.02723v2
- Date: Tue, 21 Jul 2020 12:07:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 05:18:43.740477
- Title: Weak error analysis for stochastic gradient descent optimization
algorithms
- Title（参考訳）: 確率勾配降下最適化アルゴリズムの弱誤差解析
- Authors: Aritz Bercher, Lukas Gonon, Arnulf Jentzen, Diyora Salimova
- Abstract要約: 勾配降下(SGD)型最適化スキームは、多数の機械学習ベースのアルゴリズムにおいて基本的な要素である。
特に、SGD型最適化スキームは、自然言語処理、オブジェクトと顔の認識、不正検出、計算広告、偏微分方程式の数値近似を含むアプリケーションによく用いられる。
- 参考スコア（独自算出の注目度）: 3.938057685137866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic gradient descent (SGD) type optimization schemes are fundamental
ingredients in a large number of machine learning based algorithms. In
particular, SGD type optimization schemes are frequently employed in
applications involving natural language processing, object and face
recognition, fraud detection, computational advertisement, and numerical
approximations of partial differential equations. In mathematical convergence
results for SGD type optimization schemes there are usually two types of error
criteria studied in the scientific literature, that is, the error in the strong
sense and the error with respect to the objective function. In applications one
is often not only interested in the size of the error with respect to the
objective function but also in the size of the error with respect to a test
function which is possibly different from the objective function. The analysis
of the size of this error is the subject of this article. In particular, the
main result of this article proves under suitable assumptions that the size of
this error decays at the same speed as in the special case where the test
function coincides with the objective function.
- Abstract（参考訳）: 確率勾配降下(sgd)型最適化スキームは、多くの機械学習ベースのアルゴリズムの基本的な要素である。
特に、SGD型最適化スキームは、自然言語処理、オブジェクトと顔の認識、不正検出、計算広告、偏微分方程式の数値近似を含むアプリケーションによく用いられる。
sgd型最適化スキームの数学的収束結果では、通常、科学文献で研究されている2種類の誤り基準、すなわち、強い意味での誤差と目的関数に関する誤差がある。
アプリケーションでは、目的関数に関してエラーのサイズだけでなく、目的関数と異なる可能性があるテスト関数に関してエラーのサイズにも関心があることが多い。
この誤差の大きさの分析はこの記事の主題である。
特に、本論文の主結果は、テスト関数が目的関数と一致する特別な場合において、この誤差の大きさが同じ速度で減衰する、という適切な仮定の下で証明される。
関連論文リスト
- Autoencoders in Function Space [5.558412940088621]
本稿では,オートエンコーダ (FAE) と可変オートエンコーダ (FVAE) の関数空間バージョンを紹介する。
FAEの目的はより広く有効であり、微分方程式によって支配されるデータに直接適用することができる。
これらの目的を任意のメッシュで評価可能なニューラル演算子アーキテクチャで達成することで、オートエンコーダの新たな応用により、科学的データの着色、超解像化、生成モデリングが可能になる。
論文 参考訳（メタデータ） (2024-08-02T16:13:51Z) - Binary Losses for Density Ratio Estimation [2.512309434783062]
2つの確率密度の比率を推定することは、機械学習と統計学における中心的な問題である。
本稿では,大きな値の正確な推定を優先する損失関数など,特定の特性を持つ損失関数を構築するための簡単なレシピを提案する。
これはロジスティック損失やロジスティック損失などの古典的損失関数とは対照的であり、小さな値の正確な推定を優先する。
論文 参考訳（メタデータ） (2024-07-01T15:24:34Z) - Enhancing Hypergradients Estimation: A Study of Preconditioning and
Reparameterization [49.73341101297818]
双レベル最適化は、内部最適化問題の解に依存する外的目的関数を最適化することを目的としている。
外部問題の過次性を計算する従来の方法は、Implicit Function Theorem (IFT) を使うことである。
IFT法の誤差について検討し,この誤差を低減するための2つの手法を解析した。
論文 参考訳（メタデータ） (2024-02-26T17:09:18Z) - Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳（メタデータ） (2023-07-27T17:42:06Z) - An evaluation framework for dimensionality reduction through sectional
curvature [59.40521061783166]
本研究は,非教師付き次元減少性能指標を初めて導入することを目的としている。
その実現可能性をテストするために、この測定基準は最もよく使われる次元削減アルゴリズムの性能を評価するために用いられている。
新しいパラメータ化問題インスタンスジェネレータが関数ジェネレータの形式で構築されている。
論文 参考訳（メタデータ） (2023-03-17T11:59:33Z) - Model Optimization in Imbalanced Regression [2.580765958706854]
不均衡なドメイン学習は、あまり表現されていないがドメインにとって最も重要であるインスタンスを予測するための正確なモデルを作成することを目的としている。
主な理由の1つは、極端な(まれな)値の誤差を最小限に抑えることができる損失関数の欠如である。
最近、評価指標が導入された: 正方形誤差関連領域(SERA)
このメトリクスは、極端な値で犯したエラーに重点を置いていると同時に、ターゲット変数全体のパフォーマンスも考慮している。
論文 参考訳（メタデータ） (2022-06-20T20:23:56Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - PACMAN: PAC-style bounds accounting for the Mismatch between Accuracy
and Negative log-loss [28.166066663983674]
分類タスクに対する機械学習アルゴリズムの最終的な性能は通常、テストデータセットに基づく経験的エラー確率(または精度)の観点から測定される。
分類タスクの場合、この損失関数はよく知られたクロスエントロピーリスクにつながる負のログロスである。
本稿では, 検定のミスマッチを考慮した一般化ギャップに対するポイントワイズPACに基づく分析と, 負のログロスによるトレーニングを提案する。
論文 参考訳（メタデータ） (2021-12-10T14:00:22Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Revisiting SGD with Increasingly Weighted Averaging: Optimization and
Generalization Perspectives [50.12802772165797]
平均化手法は、全ての反復解を一つの解に結合する。
実験は、他の平均化方式と比較して、トレードオフと平均化の有効性を示した。
論文 参考訳（メタデータ） (2020-03-09T18:14:00Z) - The estimation error of general first order methods [12.472245917779754]
我々は,高次元回帰と低次元行列推定という2種類の推定問題を考察する。
我々は、観測数とパラメータ数の両方が分岐する高次元最適値の誤差を下界に導出する。
これらの下界は、推定誤差が下界とわずかに無視可能な項に一致するアルゴリズムが存在することを意味している。
論文 参考訳（メタデータ） (2020-02-28T18:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。