論文の概要: Invertible Monotone Operators for Normalizing Flows

• arxiv url: http://arxiv.org/abs/2210.08176v1
• Date: Sat, 15 Oct 2022 03:40:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 20:02:57.519973
• Title: Invertible Monotone Operators for Normalizing Flows
• Title（参考訳）: 正規化フローのための可逆モノトン作用素
• Authors: Byeongkeun Ahn, Chiyoon Kim, Youngjoon Hong, Hyunwoo J. Kim
• Abstract要約: 正規化フローモデル確率は、単純な分布を複素分布に変換する可逆変換を学習することによって得られる。 単調作用素を用いたリプシッツ定数の問題を克服するための単調定式化を提案する。 結果として得られるモデルであるMonotone Flowsは、複数の密度推定ベンチマークで優れたパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 7.971699294672282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalizing flows model probability distributions by learning invertible transformations that transfer a simple distribution into complex distributions. Since the architecture of ResNet-based normalizing flows is more flexible than that of coupling-based models, ResNet-based normalizing flows have been widely studied in recent years. Despite their architectural flexibility, it is well-known that the current ResNet-based models suffer from constrained Lipschitz constants. In this paper, we propose the monotone formulation to overcome the issue of the Lipschitz constants using monotone operators and provide an in-depth theoretical analysis. Furthermore, we construct an activation function called Concatenated Pila (CPila) to improve gradient flow. The resulting model, Monotone Flows, exhibits an excellent performance on multiple density estimation benchmarks (MNIST, CIFAR-10, ImageNet32, ImageNet64). Code is available at https://github.com/mlvlab/MonotoneFlows.
• Abstract（参考訳）: 単純分布を複素分布に伝達する可逆変換を学習することで流れモデルの確率分布を正規化する。 ResNetベースの正規化フローのアーキテクチャは結合モデルよりも柔軟であるため、近年はResNetベースの正規化フローが広く研究されている。 アーキテクチャの柔軟性にもかかわらず、現在のresnetベースのモデルは制約付きリプシッツ定数に苦しむことがよく知られている。 本稿では,単調作用素を用いたリプシッツ定数の問題を克服するための単調定式法を提案し,詳細な理論解析を行う。 さらに,勾配流を改善するために,CPila (Concatenated Pila) と呼ばれる活性化関数を構築した。 得られたモデルであるモノトンフローは、複数の密度推定ベンチマーク(mnist、cifar-10、imagenet32、imagenet64)において優れた性能を示す。 コードはhttps://github.com/mlvlab/MonotoneFlowsで入手できる。

関連論文リスト

• Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
  本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。 これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。 我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
  論文  参考訳（メタデータ） (2023-10-25T13:23:08Z)
• Locality-constrained autoregressive cum conditional normalizing flow for lattice field theory simulations [0.0]
  局所作用積分は条件正規化フローの入力領域を単純化する。 その結果,l-ACNFモデルの自己相関時間は,全格子上の等価正規化フローモデルよりも桁違いに優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-04T13:55:51Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Stochastic normalizing flows as non-equilibrium transformations [62.997667081978825]
  正規化フローは従来のモンテカルロシミュレーションよりも効率的に格子場理論をサンプリングするための経路を提供することを示す。 本稿では,この拡張された生成モデルの効率を最適化する戦略と応用例を示す。
  論文  参考訳（メタデータ） (2022-01-21T19:00:18Z)
• Robust and Provably Monotonic Networks [0.0]
  深層学習モデルのリプシッツ定数を制約する新しい手法を提案する。 LHCbのリアルタイムデータ処理システムにおいて, 強靭で解釈可能な判別器を学習するために, アルゴリズムがどのように使われたかを示す。
  論文  参考訳（メタデータ） (2021-11-30T19:01:32Z)
• Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
  注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。 ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。 我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
  論文  参考訳（メタデータ） (2021-09-24T18:02:49Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Invertible DenseNets with Concatenated LipSwish [8.315801422499861]
  Invertible Dense Networks (i-DenseNets) をResidual Flowsのより効率的な代替品として紹介する。 本稿では,モデルが生成モデルと識別モデルの両方を持つハイブリッドモデルとして訓練された場合,提案モデルが残留流れより優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-04T15:45:33Z)
• SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
  SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。 提案手法は,SurVAE フローとして表現できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-06T13:13:22Z)
• Monotone operator equilibrium networks [97.86610752856987]
  我々はモノトン作用素の理論に基づく新しい暗黙深度モデル、モノトン演算子平衡ネットワーク(monDEQ)を開発した。 暗黙的ネットワークの平衡点の発見と単調作用素分割問題の解法との密接な関係を示す。 次に、ネットワークのパラメータ化を開発し、全ての作用素が単調であり続けることを保証し、ユニークな平衡点の存在を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:57:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。