Fugu-MT 論文翻訳(概要): High Dimensional Optimization through the Lens of Machine Learning

論文の概要: High Dimensional Optimization through the Lens of Machine Learning

arxiv url: http://arxiv.org/abs/2112.15392v1
Date: Fri, 31 Dec 2021 11:35:17 GMT
ステータス: 処理完了
システム内更新日: 2022-01-03 19:01:48.858066
Title: High Dimensional Optimization through the Lens of Machine Learning
Title（参考訳）: 機械学習のレンズによる高次元最適化
Authors: Felix Benning
Abstract要約: 本論文では,機械学習問題を考慮した数値最適化手法について述べる。機械学習モデルは高度にパラメータ化されているため,高次元最適化手法に着目する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: This thesis reviews numerical optimization methods with machine learning problems in mind. Since machine learning models are highly parametrized, we focus on methods suited for high dimensional optimization. We build intuition on quadratic models to figure out which methods are suited for non-convex optimization, and develop convergence proofs on convex functions for this selection of methods. With this theoretical foundation for stochastic gradient descent and momentum methods, we try to explain why the methods used commonly in the machine learning field are so successful. Besides explaining successful heuristics, the last chapter also provides a less extensive review of more theoretical methods, which are not quite as popular in practice. So in some sense this work attempts to answer the question: Why are the default Tensorflow optimizers included in the defaults?
Abstract（参考訳）: 本論文は,機械学習問題を考慮した数値最適化手法を考察する。機械学習モデルは高度にパラメータ化されているため,高次元最適化に適した手法に着目する。我々は、非凸最適化に適した方法を見出すために二次モデル上の直観を構築し、この方法の選択に対して凸関数上の収束証明を開発する。確率勾配降下法と運動量法に関するこの理論的基礎を用いて,機械学習分野で広く用いられている手法がなぜこれほど成功したのかを説明する。ヒューリスティックスの成功を説明することに加えて、最後の章はより理論的な手法のより広範なレビューも提供している。なぜデフォルトのTensorflowオプティマイザがデフォルトに含まれているのか?

関連論文リスト

Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文参考訳（メタデータ） (2023-11-22T01:32:06Z)
You Shall Pass: Dealing with the Zero-Gradient Problem in Predict and Optimize for Convex Optimization [1.98873083514863]
予測と最適化は、機械学習を用いて最適化問題の未知のパラメータを予測する、ますます人気のある意思決定パラダイムである。そのようなモデルを訓練する上で重要な課題は、パラメータに関する最適化問題の解のヤコビアンの計算である。ヤコビアンは大きさの可能なヌル空間を持つことができ、したがってトレーニングプロセスが最適下点に留まることが示される。
論文参考訳（メタデータ） (2023-07-30T19:14:05Z)
BOME! Bilevel Optimization Made Easy: A Simple First-Order Approach [46.457298683984924]
バイレベル最適化(BO)は、さまざまな機械学習問題を解決するのに有用である。従来の手法では、暗黙の微分を伴う低レベル最適化プロセスを通じて差別化する必要がある。一階BOは一階情報にのみ依存し、暗黙の微分を必要としない。
論文参考訳（メタデータ） (2022-09-19T01:51:12Z)
Gradient Descent, Stochastic Optimization, and Other Tales [8.034728173797953]
このチュートリアルは、勾配降下法と最適化法の形式的側面と非公式な側面の両方に対処することを避けない。勾配降下は最適化を行う最も一般的なアルゴリズムの1つであり、機械学習タスクを最適化する最も一般的な方法である。ディープニューラルネットワークでは、計算資源を節約し、サドルポイントから逃れるために、1つのサンプルまたはサンプルのバッチが続く勾配が使用される。
論文参考訳（メタデータ） (2022-05-02T12:06:53Z)
Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
我々はガウス過程の適用性を高める技術を開発した。この観点から構築した効率的な近似を幅広く導入する。非ユークリッド空間上のガウス過程モデルの集合を開発する。
論文参考訳（メタデータ） (2022-02-22T01:42:57Z)
SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models [15.541264326378366]
近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。本稿では,この計算ボトルネックに対処する新たな手法を提案する。
論文参考訳（メタデータ） (2021-06-01T15:07:34Z)
Why Do Local Methods Solve Nonconvex Problems? [54.284687261929115]
非使用最適化は、現代の機械学習においてユビキタスである。機械学習問題の場合、厳格に定式化します。我々はこの現象の統一的な説明を仮定する。
論文参考訳（メタデータ） (2021-03-24T19:34:11Z)
Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
論文参考訳（メタデータ） (2020-11-04T07:12:43Z)
On The Convergence of First Order Methods for Quasar-Convex Optimization [1.52292571922932]
近年、ディープラーニングの成功は、多くの研究者に一般的なスムーズな非サーサー関数の研究を促している。本稿では,様々な異なる設定における第1手法の収束について検討する。
論文参考訳（メタデータ） (2020-10-10T08:16:32Z)
A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
論文参考訳（メタデータ） (2020-06-11T06:50:35Z)
Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文参考訳（メタデータ） (2020-04-25T19:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。