論文の概要: Reproducibility in Optimization: Theoretical Framework and Limits
- arxiv url: http://arxiv.org/abs/2202.04598v1
- Date: Wed, 9 Feb 2022 17:50:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-10 15:44:47.214540
- Title: Reproducibility in Optimization: Theoretical Framework and Limits
- Title（参考訳）: 最適化における再現性:理論的枠組みと限界
- Authors: Kwangjun Ahn, Prateek Jain, Ziwei Ji, Satyen Kale, Praneeth
Netrapalli, Gil I. Shamir
- Abstract要約: 本研究では, 顔のプロシージャの計算方法や, エラーの計算方法, あるいは不正確な勾配演算の計算方法を定義する。
次に、いくつかの凸最適化設定を解析する。
本分析では,各設定の限界に対する基本的目的関数と厳密な境界を明らかにする。
- 参考スコア（独自算出の注目度）: 48.74861162007553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We initiate a formal study of reproducibility in optimization. We define a
quantitative measure of reproducibility of optimization procedures in the face
of noisy or error-prone operations such as inexact or stochastic gradient
computations or inexact initialization. We then analyze several convex
optimization settings of interest such as smooth, non-smooth, and
strongly-convex objective functions and establish tight bounds on the limits of
reproducibility in each setting. Our analysis reveals a fundamental trade-off
between computation and reproducibility: more computation is necessary (and
sufficient) for better reproducibility.
- Abstract（参考訳）: 最適化における再現性に関する正式な研究を開始する。
ノイズやエラーが発生しやすい操作,例えば不完全あるいは確率的勾配計算や不完全初期化といった,最適化手順の再現性の定量的尺度を定義した。
次に、滑らか、非滑らか、強凸な目的関数などの凸最適化設定を解析し、各設定における再現性限界の厳密な境界を確立する。
我々の分析では、計算と再現性の間には根本的なトレードオフがあり、再現性を改善するためにはより多くの計算が必要である(そして十分)。
関連論文リスト
- Optimal Guarantees for Algorithmic Reproducibility and Gradient
Complexity in Convex Optimization [55.115992622028685]
以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。
最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
論文 参考訳（メタデータ） (2023-10-26T19:56:52Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Non-Convex Optimization with Certificates and Fast Rates Through Kernel
Sums of Squares [68.8204255655161]
非最適化近似問題を考える。
本稿では,最優先計算を保証するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-04-11T09:37:04Z) - Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
機械学習における制約付き最適化問題の一家系を考察する。
我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。
本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
論文 参考訳（メタデータ） (2021-07-23T00:04:39Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Real-Time Optimization Meets Bayesian Optimization and Derivative-Free
Optimization: A Tale of Modifier Adaptation [0.0]
本稿では,不確実なプロセスのリアルタイム最適化において,プラントモデルミスマッチを克服するための修飾子適応方式について検討する。
提案したスキームは物理モデルを組み込んでおり、探査中のリスクを最小限に抑えるために信頼領域のアイデアに依存している。
取得関数の使用、プロセスノイズレベルを知る、または名目上のプロセスモデルを指定する利点を図示する。
論文 参考訳（メタデータ） (2020-09-18T12:57:17Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。