論文の概要: On Solution Functions of Optimization: Universal Approximation and
Covering Number Bounds
- arxiv url: http://arxiv.org/abs/2212.01314v1
- Date: Fri, 2 Dec 2022 17:16:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 18:02:25.915200
- Title: On Solution Functions of Optimization: Universal Approximation and
Covering Number Bounds
- Title（参考訳）: 最適化の解関数について:普遍近似と被覆数境界
- Authors: Ming Jin, Vanshaj Khattar, Harshal Kaushik, Bilgehan Sel, and Ruoxi
Jia
- Abstract要約: 線形目標性(1)(LP)と近似可能なQP近似パワーの凸最適化関数解関数の表現可能性について検討する。
この結果から,制約付きプログラミングの特性の厳密な解析と,アルゴリズム設計や性能保証への示唆が得られた。
- 参考スコア（独自算出の注目度）: 6.3291148076593355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the expressibility and learnability of convex optimization solution
functions and their multi-layer architectural extension. The main results are:
\emph{(1)} the class of solution functions of linear programming (LP) and
quadratic programming (QP) is a universal approximant for the $C^k$ smooth
model class or some restricted Sobolev space, and we characterize the
rate-distortion, \emph{(2)} the approximation power is investigated through a
viewpoint of regression error, where information about the target function is
provided in terms of data observations, \emph{(3)} compositionality in the form
of a deep architecture with optimization as a layer is shown to reconstruct
some basic functions used in numerical analysis without error, which implies
that \emph{(4)} a substantial reduction in rate-distortion can be achieved with
a universal network architecture, and \emph{(5)} we discuss the statistical
bounds of empirical covering numbers for LP/QP, as well as a generic
optimization problem (possibly nonconvex) by exploiting tame geometry. Our
results provide the \emph{first rigorous analysis of the approximation and
learning-theoretic properties of solution functions} with implications for
algorithmic design and performance guarantees.
- Abstract（参考訳）: 凸最適化解関数の表現性と学習性とその多層アーキテクチャ拡張について検討する。
The main results are: \emph{(1)} the class of solution functions of linear programming (LP) and quadratic programming (QP) is a universal approximant for the $C^k$ smooth model class or some restricted Sobolev space, and we characterize the rate-distortion, \emph{(2)} the approximation power is investigated through a viewpoint of regression error, where information about the target function is provided in terms of data observations, \emph{(3)} compositionality in the form of a deep architecture with optimization as a layer is shown to reconstruct some basic functions used in numerical analysis without error, which implies that \emph{(4)} a substantial reduction in rate-distortion can be achieved with a universal network architecture, and \emph{(5)} we discuss the statistical bounds of empirical covering numbers for LP/QP, as well as a generic optimization problem (possibly nonconvex) by exploiting tame geometry.
以上より,解関数の近似および学習理論特性の第一に厳密な解析を行い,アルゴリズム設計と性能保証に寄与することを示す。
関連論文リスト
- BO4IO: A Bayesian optimization approach to inverse optimization with uncertainty quantification [5.031974232392534]
この研究はデータ駆動逆最適化(IO)に対処する。
目的は最適化モデルにおける未知のパラメータを、最適あるいは準最適と仮定できる観測された決定から推定することである。
論文 参考訳（メタデータ） (2024-05-28T06:52:17Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。
我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
論文 参考訳（メタデータ） (2023-05-31T18:48:16Z) - FAStEN: An Efficient Adaptive Method for Feature Selection and Estimation in High-Dimensional Functional Regressions [7.674715791336311]
本稿では,スパース関数オン・ファンクション回帰問題において特徴選択を行うための,新しい,柔軟な,超効率的なアプローチを提案する。
我々はそれをスカラー・オン・ファンクション・フレームワークに拡張する方法を示す。
AOMIC PIOP1による脳MRIデータへの応用について述べる。
論文 参考訳（メタデータ） (2023-03-26T19:41:17Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳（メタデータ） (2022-10-03T07:59:42Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Sparse Signal Reconstruction for Nonlinear Models via Piecewise Rational
Optimization [27.080837460030583]
劣化した信号を非線形歪みと限られたサンプリングレートで再構成する手法を提案する。
本手法は,不正確な適合項と罰則として定式化する。
シミュレーションの利点の観点から,この問題の活用方法を示す。
論文 参考訳（メタデータ） (2020-10-29T09:05:19Z) - Ideal formulations for constrained convex optimization problems with
indicator variables [2.578242050187029]
本研究では,指標変数と指標に対する制約を用いた凸最適化問題のクラスを凸化することを検討した。
スパース回帰問題の凸化に関する従来の研究とは異なり、非線形非分離対象、指標変数、制約を同時に検討する。
階層性,多行性,空間性制約といった問題に対する理想的な凸化を導出する。
論文 参考訳（メタデータ） (2020-06-30T21:07:10Z) - Objective-Sensitive Principal Component Analysis for High-Dimensional
Inverse Problems [0.0]
本稿では,大規模乱数場の適応的,微分可能なパラメータ化手法を提案する。
開発した手法は主成分分析(PCA)に基づくが,目的関数の振る舞いを考慮した主成分の純粋にデータ駆動に基づく基礎を変更する。
最適パラメータ分解のための3つのアルゴリズムを2次元合成履歴マッチングの目的に適用した。
論文 参考訳（メタデータ） (2020-06-02T18:51:17Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳（メタデータ） (2020-02-25T23:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。