論文の概要: Taming Nonconvexity with Epigraph Lifting
- arxiv url: http://arxiv.org/abs/2610.16429v1
- Date: Mon, 12 Oct 2026 08:55:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 23:19:05.214844
- Title: Taming Nonconvexity with Epigraph Lifting
- Title（参考訳）: エピグラフリフティングによる非凸性処理
- Abstract要約: エンフ勾配を持つネットワークによって正規化される逆実験について考察する。
我々は,H-DCが同じ系列より低い値の解に一貫して到達していることを示す。
- 参考スコア（独自算出の注目度）: 1.1470070927586018
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider inverse problems regularized by a trained neural network with \emph{convex activations} and \emph{unrestricted weights}. The resulting optimization problem is generally nonconvex, and gradient-based methods may converge to poor local minima. We introduce a \emph{penalized epigraph lifting} of the network and show that the lifted problem admits a \emph{difference-of-convex (DC) decomposition}. For Lipschitz continuous activations, we establish \emph{finite exactness}: the original objective is recovered exactly at a finite and explicitly computable penalty threshold $\barρ$. Building on this structure, we propose \emph{H-DC} (Homotopic DC), a homotopic scheme that solves a sequence of DC subproblems with increasing $ρ$, warm-starting each level from the previous solution. Numerical experiments on synthetic problems, a manifold denoiser regularizer, and image inpainting with a learned Mumford--Shah regularizer show that H-DC consistently escapes poor local minima and reaches solutions with lower objective values than gradient-based methods from the same initialization.
- Abstract（参考訳）: トレーニングされたニューラルネットワークによって正規化される逆問題として, \emph{convex activations} と \emph{unrestricted weights} を考える。
結果として生じる最適化問題は一般には非凸であり、勾配に基づく手法は貧弱な局所最小値に収束する。
本稿では,ネットワークの「emph{penalized epigraph lifting」を導入し,この「emph{difference-of-convex(DC)」分解を許容することを示す。
リプシッツ連続活性化に対しては、元の目的は有限で明示的に計算可能なペナルティ閾値$\barρ$で正確に回復される。
この構造に基づいて,直流サブプロブレムの列を解くホモトピースキームである \emph{H-DC} (Homotopic DC) を提案する。
合成問題, 多様体デノイザー正則化器, および学習したマンフォード-シャー正則化器による画像インペインティングの数値実験により, H-DC は局所最小値が不完全であり, 同じ初期化から得られる勾配法よりも低い目標値の解に到達していることが示された。
関連論文リスト
- Constructing an Interpretable Deep Denoiser by Unrolling Graph Laplacian Regularizer [26.334739062500674]
イメージデノイザは、Plug-and-Play (MAP)アーキテクチャを介して、幅広い復元問題に使用できる。
解析可能なグラフベースパラメータデノイザ(GDD)を構築するための一般的なフレームワークを提案する。
GDDは、競争相手と比較して、競争力のある画像復調性能を達成する。
論文 参考訳（メタデータ） (2024-09-10T17:42:14Z) - Stable Minima Cannot Overfit in Univariate ReLU Networks: Generalization by Large Step Sizes [29.466981306355066]
固定学習率$eta$の勾配降下はスムーズな関数を表す局所最小値しか見つからないことを示す。
また、$n$のデータポイントのサポートの厳密な内部で、$widetildeO(n-4/5)$のほぼ最適MSE境界を証明します。
論文 参考訳（メタデータ） (2024-06-10T22:57:27Z) - Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time [45.72323731094864]
本稿では,2層ReLULUネットワーク間における重み減衰と凸緩和の最適性ギャップについて検討する。
私たちの研究は、なぜローカルメソッドがうまく機能するのかを理解することに新たな光を当てています。
論文 参考訳（メタデータ） (2024-02-06T01:29:35Z) - A Generalized Alternating Method for Bilevel Learning under the
Polyak-{\L}ojasiewicz Condition [63.66516306205932]
バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。
最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
論文 参考訳（メタデータ） (2023-06-04T17:54:11Z) - Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。
本稿では,2種類のミニマックスアルゴリズムを提案する。
そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
論文 参考訳（メタデータ） (2023-02-08T01:42:45Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。