論文の概要: Adopting Robustness and Optimality in Fitting and Learning
- arxiv url: http://arxiv.org/abs/1510.03826v4
- Date: Wed, 18 Oct 2023 06:14:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 21:29:00.999141
- Title: Adopting Robustness and Optimality in Fitting and Learning
- Title(参考訳): フィッティングと学習におけるロバストさと最適性の採用
- Authors: Zhiguang Wang, Tim Oates, James Lo
- Abstract要約: 我々は、ロバスト最適化(RO)指数 $lambda$ を $-infty 桁にプッシュすることで、改良された指数化推定器を一般化する。
このロバスト性はRONISTによって適応的に実現され制御される。
- 参考スコア(独自算出の注目度): 4.511425319032815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We generalized a modified exponentialized estimator by pushing the
robust-optimal (RO) index $\lambda$ to $-\infty$ for achieving robustness to
outliers by optimizing a quasi-Minimin function. The robustness is realized and
controlled adaptively by the RO index without any predefined threshold.
Optimality is guaranteed by expansion of the convexity region in the Hessian
matrix to largely avoid local optima. Detailed quantitative analysis on both
robustness and optimality are provided. The results of proposed experiments on
fitting tasks for three noisy non-convex functions and the digits recognition
task on the MNIST dataset consolidate the conclusions.
- Abstract(参考訳): 準ミニミン関数を最適化することで、外れ値に対するロバスト性を達成するためにロバスト最適(ro)インデックス$\lambda$を$-\infty$にすることで、修正された指数化推定器を一般化した。
このロバスト性は、予め定義された閾値なしにRO指数によって適応的に実現され制御される。
最適性は、局所最適を避けるためにヘッセン行列の凸領域の拡大によって保証される。
ロバスト性および最適性に関する詳細な定量的解析を提供する。
MNISTデータセット上の3つのノイズ非凸関数に対する適合タスクと桁認識タスクに関する提案実験の結果を集約した。
関連論文リスト
- Robust Entropy Search for Safe Efficient Bayesian Optimization [40.56709991743249]
我々は、ロバスト・エントロピー・サーチ(RES)と呼ばれる効率的な情報ベース獲得機能を開発する。
RESは、堅牢で最先端のアルゴリズムよりも確実に最適である。
論文 参考訳(メタデータ) (2024-05-29T13:00:10Z) - Smoothed $f$-Divergence Distributionally Robust Optimization [5.50764401597583]
我々は、特別な種類の分布完全ロバスト最適化(DRO)の定式化が理論的優位性をもたらすと論じる。
DROは、Wasserstein または L'evy-Prokhorov (LP) 距離で滑らかなKullback Leibler (KL) の発散に基づく曖昧性集合を用いる。
論文 参考訳(メタデータ) (2023-06-24T19:22:01Z) - Robust Subset Selection by Greedy and Evolutionary Pareto Optimization [23.0838604893412]
サブセット選択は、ある目的関数を最大化するために、グラウンドセットからサブセットを選択することを目的としている。
グリーディアルゴリズムは1-e-betagamma$の近似比を得ることができ、$beta$と$gamma$は対象関数の相関と部分モジュラリティ比である。
論文 参考訳(メタデータ) (2022-05-03T11:00:54Z) - Pessimistic Minimax Value Iteration: Provably Efficient Equilibrium
Learning from Offline Datasets [101.5329678997916]
両プレイヤーゼロサムマルコフゲーム(MG)をオフライン環境で研究する。
目標は、事前収集されたデータセットに基づいて、近似的なナッシュ均衡(NE)ポリシーペアを見つけることである。
論文 参考訳(メタデータ) (2022-02-15T15:39:30Z) - Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。
目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
論文 参考訳(メタデータ) (2021-10-24T14:56:38Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳(メタデータ) (2021-07-02T16:21:52Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Bayesian Optimization of Risk Measures [7.799648230758491]
我々は、$rho[F(x, W) ]$ という形の目的関数のベイズ最適化を考える。
目的関数の構造を利用してサンプリング効率を大幅に向上する新しいベイズ最適化アルゴリズム群を提案する。
論文 参考訳(メタデータ) (2020-07-10T18:20:46Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳(メタデータ) (2020-03-05T19:56:23Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳(メタデータ) (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。