論文の概要: Sparsest Univariate Learning Models Under Lipschitz Constraint
- arxiv url: http://arxiv.org/abs/2112.13542v1
- Date: Mon, 27 Dec 2021 07:03:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 16:25:48.390136
- Title: Sparsest Univariate Learning Models Under Lipschitz Constraint
- Title(参考訳): リプシッツ制約下での一変数学習モデル
- Authors: Shayan Aziznejad, Thomas Debarre, Michael Unser
- Abstract要約: 一次元回帰問題に対する連続領域定式化を提案する。
リプシッツ定数をユーザ定義上界を用いて明示的に制御する。
いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
- 参考スコア(独自算出の注目度): 31.28451181040038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Beside the minimization of the prediction error, two of the most desirable
properties of a regression scheme are stability and interpretability. Driven by
these principles, we propose continuous-domain formulations for one-dimensional
regression problems. In our first approach, we use the Lipschitz constant as a
regularizer, which results in an implicit tuning of the overall robustness of
the learned mapping. In our second approach, we control the Lipschitz constant
explicitly using a user-defined upper-bound and make use of a
sparsity-promoting regularizer to favor simpler (and, hence, more
interpretable) solutions. The theoretical study of the latter formulation is
motivated in part by its equivalence, which we prove, with the training of a
Lipschitz-constrained two-layer univariate neural network with rectified linear
unit (ReLU) activations and weight decay. By proving representer theorems, we
show that both problems admit global minimizers that are continuous and
piecewise-linear (CPWL) functions. Moreover, we propose efficient algorithms
that find the sparsest solution of each problem: the CPWL mapping with the
least number of linear regions. Finally, we illustrate numerically the outcome
of our formulations.
- Abstract(参考訳): 予測誤差の最小化に加えて、回帰スキームの最も望ましい2つの特性は安定性と解釈性である。
これらの原理に基づいて、1次元回帰問題に対する連続領域の定式化を提案する。
最初のアプローチでは、リプシッツ定数を正規化器として使用し、学習したマッピングの全体的なロバスト性が暗黙的にチューニングされます。
第2のアプローチでは、ユーザ定義上界を用いて明示的にリプシッツ定数を制御し、スパーシティープロモーティング正規化器を用いてより単純な(そしてより解釈可能な)ソリューションを選択する。
後者の定式化の理論的な研究は、リプシッツに制約された2層単層ニューラルネットワークの強化線形単位(ReLU)アクティベーションと重み減衰のトレーニングにより、その等価性によって部分的に動機づけられる。
代表者定理の証明により、両問題とも連続かつピースワイズ線形(CPWL)関数である大域最小化を許容することを示した。
さらに,最小の線形領域を持つCPWLマッピングという,各問題の最も広い解を求める効率的なアルゴリズムを提案する。
最後に, 定式化の結果を数値的に示す。
関連論文リスト
- GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent [12.409030267572243]
まず、エントロピー規則化線形計画問題として、ニューラルネットワーク出力予測問題を再構成する。
数値的性能向上を伴う高速化勾配降下アルゴリズムに基づいて,その問題を解決するため,アーキテクチャGLinSATを提案する。
これは、すべての操作が微分可能で行列分解自由な、最初の一般線形満足層である。
論文 参考訳(メタデータ) (2024-09-26T03:12:53Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳(メタデータ) (2023-06-22T23:14:57Z) - Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。
次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。
実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
論文 参考訳(メタデータ) (2022-07-13T22:55:04Z) - Decentralized Feature-Distributed Optimization for Generalized Linear
Models [19.800898945436384]
一般化線形モデルに対する「オール・フォー・ワン」分散学習問題を考える。
各サンプルの特徴は、ネットワーク内の複数の協調エージェントに分割されるが、応答変数を観察するエージェントは1つだけである。
問題の等価なサドル点定式化にシャンブル-ポック原始-双対アルゴリズムを適用する。
論文 参考訳(メタデータ) (2021-10-28T16:42:47Z) - Reinforcement Learning in Linear MDPs: Constant Regret and
Representation Selection [136.4014229319618]
線形構造を持つ有限水平マルコフ決定過程(MDPs)における後悔最小化における状態-作用値関数の表現の役割について検討する。
まず,線形報酬関数を持つ任意のMDPにおいて,一貫した後悔を実現するために,Universally spaning optimal features (UNISOFT) と呼ばれる表現に必要条件を導出する。
論文 参考訳(メタデータ) (2021-10-27T22:07:08Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。
新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。
画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文 参考訳(メタデータ) (2020-10-05T01:00:40Z) - Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing [7.4769019455423855]
リプシッツ制約による損失最小化の1つとして、逆向きに頑健な学習問題を定式化する。
関連するラグランジアンのサドル点は、重み付きラプラス作用素を持つポアソン方程式によって特徴づけられることを示す。
グラフに基づく入力空間の離散化と、ラグランジアンサドル点に収束する原始双対アルゴリズムを用いて、証明可能なロバストなトレーニングスキームを設計する。
論文 参考訳(メタデータ) (2020-06-05T22:02:21Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳(メタデータ) (2020-05-26T16:26:17Z) - Deep Neural Networks with Trainable Activations and Controlled Lipschitz
Constant [26.22495169129119]
本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。
我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。
提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
論文 参考訳(メタデータ) (2020-01-17T12:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。