Fugu-MT 論文翻訳(概要): Scalable Derivative-Free Optimization for Nonlinear Least-Squares Problems

論文の概要: Scalable Derivative-Free Optimization for Nonlinear Least-Squares Problems

arxiv url: http://arxiv.org/abs/2007.13243v2
Date: Sat, 1 Aug 2020 12:53:38 GMT
ステータス: 処理完了
システム内更新日: 2022-11-06 20:17:33.367673
Title: Scalable Derivative-Free Optimization for Nonlinear Least-Squares Problems
Title（参考訳）: 非線形最小二乗問題に対する拡張微分自由最適化
Authors: Coralia Cartis and Tyler Ferguson and Lindon Roberts
Abstract要約: 微分自由(あるいはゼロ次)最適化(DFO)は、様々なアプリケーション領域の問題を解く能力において近年注目を集めている。非線形二乗問題を解くためのモデルに基づく新しいDFO法を開発した。
参考スコア（独自算出の注目度）: 0.6445605125467572
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Derivative-free - or zeroth-order - optimization (DFO) has gained recent attention for its ability to solve problems in a variety of application areas, including machine learning, particularly involving objectives which are stochastic and/or expensive to compute. In this work, we develop a novel model-based DFO method for solving nonlinear least-squares problems. We improve on state-of-the-art DFO by performing dimensionality reduction in the observational space using sketching methods, avoiding the construction of a full local model. Our approach has a per-iteration computational cost which is linear in problem dimension in a big data regime, and numerical evidence demonstrates that, compared to existing software, it has dramatically improved runtime performance on overdetermined least-squares problems.
Abstract（参考訳）: 微分自由(あるいはゼロオーダー)最適化(DFO)は、機械学習を含むさまざまなアプリケーション領域で、特に確率的で計算に高価な目的を含む問題を解く能力において、近年注目を集めている。本研究では,非線形最小二乗問題を解くためのモデルに基づく新しいDFO法を提案する。スケッチ手法を用いて観測空間の次元的低減を行い,局所モデル全体の構築を回避し,最先端のDFOを改善する。提案手法は,ビッグデータシステムにおける問題次元の線形化を図り,既存のソフトウェアと比較して,過度に決定された最小二乗問題に対する実行性能が劇的に向上したことを示す数値的証拠である。

関連論文リスト

Mixed geometry information regularization for image multiplicative denoising [12.43943610396014]
本稿では,変分モデルによる乗法的ガンマ分解問題の解法に焦点をあてる。本稿では,これらの問題を克服するために,領域幾何学用語と曲率項を先行知識として取り入れた混合情報モデルを提案する。
論文参考訳（メタデータ） (2024-12-21T02:24:42Z)
On improving generalization in a class of learning problems with the method of small parameters for weakly-controlled optimal gradient systems [0.0]
制御入力が非線形項の係数としてシステム力学に入力される弱制御勾配系の変分問題を考える。摂動理論を用いて、最適化問題の列を解くことができる結果を提供する。また、そのような近似最適解に対する収束率を推定する。
論文参考訳（メタデータ） (2024-12-11T20:50:29Z)
Scalable Higher-Order Tensor Product Spline Models [0.0]
本稿では,高階テンソル積スプラインモデルから高階テンソル積を導出する因子分解法を提案する。本手法では,非線形特徴効果のすべての(高次)相互作用を,相互作用のないモデルに比例した計算コストで組み込むことが可能である。
論文参考訳（メタデータ） (2024-02-02T01:18:48Z)
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文参考訳（メタデータ） (2023-05-28T06:33:37Z)
Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文参考訳（メタデータ） (2022-04-18T17:53:44Z)
Data-Driven Minimax Optimization with Expectation Constraints [9.373649142701803]
本稿では,最小値予測制約問題に対処するために,効率的な原始双対アルゴリズムのクラスを提案する。我々のアルゴリズムは$mathcalO(frac1sqrtN)$の最適速度で収束することを示す。
論文参考訳（メタデータ） (2022-02-16T05:23:27Z)
Neural Stochastic Dual Dynamic Programming [99.80617899593526]
我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。 $nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
論文参考訳（メタデータ） (2021-12-01T22:55:23Z)
Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文参考訳（メタデータ） (2021-02-16T06:04:27Z)
Progressive Batching for Efficient Non-linear Least Squares [31.082253632197023]
ガウス・ニュートンの基本的な改良のほとんどは、基礎となる問題構造の空間性を保証するか、あるいは活用して計算速度を上げることである。我々の研究は、機械学習と統計の両方からアイデアを借用し、収束を保証するとともに、必要な計算量を大幅に削減する非線形最小二乗に対するアプローチを提案する。
論文参考訳（メタデータ） (2020-10-21T13:00:04Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)
Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。