論文の概要: Gradient Flows over Convex Bodies for Learning Optimal Regularizers
- arxiv url: http://arxiv.org/abs/2611.16142v1
- Date: Thu, 12 Nov 2026 01:08:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.295157
- Title: Gradient Flows over Convex Bodies for Learning Optimal Regularizers
- Title(参考訳): 最適正規化器学習のための凸体上の勾配流
- Abstract要約: 凸体の集合に関する流れを記述する問題について考察する。
正規化手法を用いて不規則な逆問題を解決することを仮定する。
先行データから直接凸正則化器の最適選択を学べるか。
- 参考スコア(独自算出の注目度): 7.160601421935842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the question of describing gradient flows over the collection of convex bodies. This is motivated by foundational questions arising in inverse problems. Suppose we wish to solve an ill-posed inverse problem using regularization techniques. Can we learn an optimal choice of a convex regularizer directly from prior data? Given a numerical algorithm that computes such an optimal regularizer, is there a principled manner for describing the evolution of its iterates? The objective of this paper is to lay the foundation towards answering these questions. To this end, we consider a criterion of an optimal regularizer based on seeking a convex body that minimizes the expected gauge evaluation with respect to a prior data distribution subject to a volume constraint. The formulation is initially nonconvex, but admits hidden convexity by passing to its polar. We characterize the Karush-Kuhn-Tucker (KKT) conditions that certify global optimality. We also analyze the $L^2$-gradient flow as well as a minimizing movement scheme with the Hausdorff penalty. Our results show that the objective gap decays exponentially along the gradient flow and we obtain dimension-dependent rates for both the objective gap and distance to the optimal body for the Hausdorff scheme. Finally, we apply the KKT conditions to identify explicit optimal convex bodies. For data where the optimal nonconvex regularizer is the $\ell_p$-quasinorm, $p \in (0,1)$, the optimal convex regularizer is the volume-normalized $\ell_1$-ball. For data described by paired basis atoms, the optimal convex regularizer is the polar of a shifted zonotope.
- Abstract(参考訳): 凸体集合上の勾配流を記述する問題について考察する。
これは、逆問題に起因する基本的な問題によって動機付けられている。
正規化手法を用いて不規則な逆問題を解決することを仮定する。
先行データから直接凸正則化器の最適選択を学べるか。
そのような最適な正則化器を計算する数値アルゴリズムを考えると、その反復体の進化を記述するための原則的な方法があるだろうか?
本論文の目的は,これらの疑問に答える基盤を構築することである。
この目的のために、容積制約を受ける先行データ分布に対する期待ゲージ評価を最小限に抑える凸体を求めることに基づく最適正則化器の基準を検討する。
定式化は最初は非凸であるが、極点を通過することで隠れた凸性を認める。
グローバル最適性を証明するKKT(Karush-Kuhn-Tucker)条件を特徴付ける。
また,約$L^2$-gradient flowとHausdorffのペナルティによる最小化運動スキームも分析した。
その結果, 主観的ギャップは勾配流に沿って指数関数的に崩壊し, 主観的ギャップとハウゼンドルフスキームの最適体への距離の両方の次元依存率が得られることがわかった。
最後に、KKT条件を適用して、明確な最適凸体を同定する。
最適な非凸正則化器が$\ell_p$-quasinorm, $p \in (0,1)$であるデータに対して、最適凸正則化器は体積正規化$\ell_1$-ballである。
対基底原子によって記述されたデータに対して、最適凸正則化器はシフトしたゾノトペの極である。
関連論文リスト
- The Curvature of Regret in Contextual Linear Optimization [42.371764229953165]
本研究では,データ分布を平均化し,非滑らかなポイントワイズ動作が局所的に現れることを示す。
閉形式、具体的には正規ファンの壁に支持された行列値測度を用いて曲率を導出する。
提案手法は,予測コスト線形最適化のためのシナリオ生成手法である。
論文 参考訳(メタデータ) (2026-10-01T16:25:09Z) - Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
基本的で長期にわたる課題は、その効率的な近似である。
一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。
本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
論文 参考訳(メタデータ) (2026-04-09T16:38:14Z) - Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization [18.47705532817026]
適応勾配法は、最も成功したニューラルネットワークトレーニングアルゴリズムの一つである。
これらの手法は凸SGD-ノルマリティよりも次元依存性が優れていることが知られている。
本稿では,構造物の滑らかさと勾配雑音の分散に関する新しい仮定を紹介する。
論文 参考訳(メタデータ) (2024-06-07T02:55:57Z) - Randomized Coordinate Subgradient Method for Nonsmooth Composite
Optimization [11.017632675093628]
非滑らかな問題に対処するコーディネート型劣階法は、リプシッツ型仮定の性質のセットのため、比較的過小評価されている。
論文 参考訳(メタデータ) (2022-06-30T02:17:11Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳(メタデータ) (2022-06-17T06:10:20Z) - A gradient estimator via L1-randomization for online zero-order
optimization with two point feedback [93.57603470949266]
2つの関数評価とランダム化に基づく新しい勾配推定器を提案する。
ゼロ次オラクルの雑音に対する仮定は,ノイズのキャンセルと逆方向雑音の2種類について考察する。
我々は、問題の全てのパラメータに適応する、いつでも完全にデータ駆動のアルゴリズムを提供する。
論文 参考訳(メタデータ) (2022-05-27T11:23:57Z) - Convergence of First-Order Methods for Constrained Nonconvex
Optimization with Dependent Data [7.513100214864646]
収束$tildeO(t-1/4)$とMoreautildeO(vareps-4)$がスムーズな非最適化のために最悪の場合の複雑性を示す。
適応的なステップサイズと最適収束度を持つ投影勾配法に基づく従属データに対する最初のオンライン非負行列分解アルゴリズムを得る。
論文 参考訳(メタデータ) (2022-03-29T17:59:10Z) - A first-order primal-dual method with adaptivity to local smoothness [64.62056765216386]
凸凹対象 $min_x max_y f(x) + langle Ax, yrangle - g*(y)$, ここで、$f$ は局所リプシッツ勾配を持つ凸関数であり、$g$ は凸かつ非滑らかである。
主勾配ステップと2段ステップを交互に交互に行うCondat-Vuアルゴリズムの適応バージョンを提案する。
論文 参考訳(メタデータ) (2021-10-28T14:19:30Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳(メタデータ) (2020-06-24T06:01:24Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。