論文の概要: On the expressivity of bi-Lipschitz normalizing flows
- arxiv url: http://arxiv.org/abs/2107.07232v3
- Date: Thu, 7 Mar 2024 17:54:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 18:41:48.220307
- Title: On the expressivity of bi-Lipschitz normalizing flows
- Title（参考訳）: bi-lipschitz正規化流れの表現性について
- Authors: Alexandre Verine, Benjamin Negrevergne, Fabrice Rossi, Yann Chevaleyre
- Abstract要約: 可逆函数 (invertible function) は、函数とその逆函数が有界リプシッツ定数を持つとき、ビ・リプシッツ (bi-Lipschitz) である。
ほとんどの正規化フローは、設計または数値誤差を制限するための訓練によってバイリプシッツである。
- 参考スコア（独自算出の注目度）: 49.92565116246822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An invertible function is bi-Lipschitz if both the function and its inverse
have bounded Lipschitz constants. Nowadays, most Normalizing Flows are
bi-Lipschitz by design or by training to limit numerical errors (among other
things). In this paper, we discuss the expressivity of bi-Lipschitz Normalizing
Flows and identify several target distributions that are difficult to
approximate using such models. Then, we characterize the expressivity of
bi-Lipschitz Normalizing Flows by giving several lower bounds on the Total
Variation distance between these particularly unfavorable distributions and
their best possible approximation. Finally, we discuss potential remedies which
include using more complex latent distributions.
- Abstract（参考訳）: 可逆函数は、函数とその逆函数が有界リプシッツ定数を持つとき、双リプシッツである。
今日では、ほとんどの正規化フローは、設計または数値エラー(その他)を制限するための訓練によってバイリプシッツである。
本稿では,bi-lipschitz正規化流れの表現性について論じ,これらのモデルを用いた近似が難しい複数の対象分布を同定する。
次に, ビリプシッツ正規化流れの表現率を, 特に不適合な分布と最良近似との間の全変動距離のいくつかの下界を与えることにより特徴付ける。
最後に,より複雑な潜在分布を用いた治療の可能性について考察する。
関連論文リスト
- Tamed Langevin sampling under weaker conditions [27.872857402255775]
ログコンケーブではなく,弱い散逸性しか持たない分布から抽出する問題について検討する。
そこで本研究では,対象分布の成長と崩壊特性に合わせたテイミング手法を提案する。
提案したサンプルに対して,Kulback-Leiblerの発散,全変動,ワッサーシュタイン距離といった条件で明確な非漸近保証を与える。
論文 参考訳（メタデータ） (2024-05-27T23:00:40Z) - Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。
最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。
また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
論文 参考訳（メタデータ） (2023-06-14T11:02:08Z) - Efficiently Computing Local Lipschitz Constants of Neural Networks via
Bound Propagation [79.13041340708395]
リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。
既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。
ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
論文 参考訳（メタデータ） (2022-10-13T22:23:22Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
一次元回帰問題に対する連続領域定式化を提案する。
リプシッツ定数をユーザ定義上界を用いて明示的に制御する。
いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
論文 参考訳（メタデータ） (2021-12-27T07:03:43Z) - Resampling Base Distributions of Normalizing Flows [0.0]
学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。
ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-10-29T14:44:44Z) - Universal Approximation of Residual Flows in Maximum Mean Discrepancy [24.493721984271566]
リプシッツ残差ブロックからなる正規化流のクラスである残留流について検討する。
残差流は最大平均差の普遍近似であることを示す。
論文 参考訳（メタデータ） (2021-03-10T00:16:33Z) - SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。
提案手法は,SurVAE フローとして表現できることが示唆された。
論文 参考訳（メタデータ） (2020-07-06T13:13:22Z) - Efficient Proximal Mapping of the 1-path-norm of Shallow Networks [47.20962674178505]
1-path-norm ニューラルネットワークの2つの重要な特性を示す。
第一に、その非滑らかさと非正確さにもかかわらず、閉じた近位作用素を効率的に計算することができる。
第二に、活性化関数が微分可能であれば、リプシッツ定数の上界を与える。
論文 参考訳（メタデータ） (2020-07-02T10:34:06Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳（メタデータ） (2020-03-04T08:15:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。