論文の概要: Provable Lipschitz Certification for Generative Models
- arxiv url: http://arxiv.org/abs/2107.02732v1
- Date: Tue, 6 Jul 2021 17:00:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 17:13:34.993279
- Title: Provable Lipschitz Certification for Generative Models
- Title（参考訳）: 生成モデルに対する証明可能なリプシッツ認証
- Authors: Matt Jordan, Alexandros G. Dimakis
- Abstract要約: 生成モデルのリプシッツ定数を上界化するためのスケーラブルな手法を提案する。
この集合をゾノトープを用いた層状凸近似により近似する。
これにより、小さなネットワーク上で効率的かつ厳密なバウンダリを提供し、VAEおよびDCGANアーキテクチャ上の生成モデルにスケールすることができる。
- 参考スコア（独自算出の注目度）: 103.97252161103042
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a scalable technique for upper bounding the Lipschitz constant of
generative models. We relate this quantity to the maximal norm over the set of
attainable vector-Jacobian products of a given generative model. We approximate
this set by layerwise convex approximations using zonotopes. Our approach
generalizes and improves upon prior work using zonotope transformers and we
extend to Lipschitz estimation of neural networks with large output dimension.
This provides efficient and tight bounds on small networks and can scale to
generative models on VAE and DCGAN architectures.
- Abstract（参考訳）: 本稿では,生成モデルのリプシッツ定数を上限とするスケーラブルな手法を提案する。
この量を与えられた生成モデルの到達可能なベクトル-ヤコブ積の集合上の極大ノルムに関連付ける。
この集合をゾノトープを用いた層状凸近似により近似する。
本稿では,zonotope変換器を用いた先行作業の一般化と改善を行い,出力次元が大きいニューラルネットワークのリプシッツ推定に拡張する。
これにより、小さなネットワーク上で効率的かつ厳密なバウンダリを提供し、VAEおよびDCGANアーキテクチャ上の生成モデルにスケールすることができる。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - A Hybrid of Generative and Discriminative Models Based on the
Gaussian-coupled Softmax Layer [5.33024001730262]
本稿では,1つのニューラルネットワークにおける識別モデルと生成モデルのハイブリッドを学習する手法を提案する。
提案手法を半教師付き学習と信頼性校正に適用できることを実証する。
論文 参考訳（メタデータ） (2023-05-10T05:48:22Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳（メタデータ） (2023-03-06T14:31:09Z) - Efficiently Computing Local Lipschitz Constants of Neural Networks via
Bound Propagation [79.13041340708395]
リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。
既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。
ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
論文 参考訳（メタデータ） (2022-10-13T22:23:22Z) - Lower and Upper Bounds on the VC-Dimension of Tensor Network Models [8.997952791113232]
ネットワーク法は凝縮物質物理学の進歩の重要な要素である。
これらは指数関数的に大きな特徴空間で線形モデルを効率的に学習するのに使うことができる。
本研究では,大きなテンソルネットワークモデルのVC次元と擬次元の上下境界を導出する。
論文 参考訳（メタデータ） (2021-06-22T14:39:25Z) - Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve
Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。
非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-08T12:41:56Z) - Collegial Ensembles [11.64359837358763]
我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。
また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
論文 参考訳（メタデータ） (2020-06-13T16:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。