論文の概要: Invertible DenseNets with Concatenated LipSwish
- arxiv url: http://arxiv.org/abs/2102.02694v1
- Date: Thu, 4 Feb 2021 15:45:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-05 16:41:32.907676
- Title: Invertible DenseNets with Concatenated LipSwish
- Title（参考訳）: LipSwishを連結したInvertible DenseNets
- Authors: Yura Perugachi-Diaz, Jakub M. Tomczak, Sandjai Bhulai
- Abstract要約: Invertible Dense Networks (i-DenseNets) をResidual Flowsのより効率的な代替品として紹介する。
本稿では,モデルが生成モデルと識別モデルの両方を持つハイブリッドモデルとして訓練された場合,提案モデルが残留流れより優れていることを示す。
- 参考スコア（独自算出の注目度）: 8.315801422499861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Invertible Dense Networks (i-DenseNets), a more parameter
efficient alternative to Residual Flows. The method relies on an analysis of
the Lipschitz continuity of the concatenation in DenseNets, where we enforce
invertibility of the network by satisfying the Lipschitz constant. We extend
this method by proposing a learnable concatenation, which not only improves the
model performance but also indicates the importance of the concatenated
representation. Additionally, we introduce the Concatenated LipSwish as
activation function, for which we show how to enforce the Lipschitz condition
and which boosts performance. The new architecture, i-DenseNet, out-performs
Residual Flow and other flow-based models on density estimation evaluated in
bits per dimension, where we utilize an equal parameter budget. Moreover, we
show that the proposed model out-performs Residual Flows when trained as a
hybrid model where the model is both a generative and a discriminative model.
- Abstract（参考訳）: 残差フローに代わるよりパラメータ効率の良いInvertible Dense Networks(i-DenseNets)を紹介します。
この方法は、Lipschitz定数を満たすことによってネットワークの反転性を強制するDenseNetsの連結のLipschitz連続性の分析に依存します。
本手法は,モデル性能の向上だけでなく,連結表現の重要性も示し,学習可能な連結を提案して拡張する。
さらに、Lipschitz条件を強制する方法を示し、パフォーマンスを高めるためのアクティベーション機能としてConcatenated LipSwishを紹介します。
新しいアーキテクチャ i-DenseNet はResidual Flow や他のフローベースモデルと同等のパラメータ予算を用いて,次元当たりのビットで評価された密度推定を行う。
さらに, モデルが生成モデルと判別モデルの両方であるハイブリッドモデルとして訓練された場合, 提案モデルが残差流を上回ることを示す。
関連論文リスト
- Invertible Monotone Operators for Normalizing Flows [7.971699294672282]
正規化フローモデル確率は、単純な分布を複素分布に変換する可逆変換を学習することによって得られる。
単調作用素を用いたリプシッツ定数の問題を克服するための単調定式化を提案する。
結果として得られるモデルであるMonotone Flowsは、複数の密度推定ベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-10-15T03:40:46Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳（メタデータ） (2022-09-07T01:12:11Z) - Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。
次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。
実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
論文 参考訳（メタデータ） (2022-07-13T22:55:04Z) - Attentive Contractive Flow: Improved Contractive Flows with
Lipschitz-constrained Self-Attention [25.836293235140595]
注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。
ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。
我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
論文 参考訳（メタデータ） (2021-09-24T18:02:49Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Invertible DenseNets [7.895232155155041]
Invertible Dense Networks (i-DenseNets) をResidual Flowsのより効率的な代替品として紹介する。
我々は,おもちゃ,MNIST,CIFAR10データにおけるi-DenseNetsおよびResidual Flowsの性能を示す。
論文 参考訳（メタデータ） (2020-10-05T16:11:39Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z) - Monotone operator equilibrium networks [97.86610752856987]
我々はモノトン作用素の理論に基づく新しい暗黙深度モデル、モノトン演算子平衡ネットワーク(monDEQ)を開発した。
暗黙的ネットワークの平衡点の発見と単調作用素分割問題の解法との密接な関係を示す。
次に、ネットワークのパラメータ化を開発し、全ての作用素が単調であり続けることを保証し、ユニークな平衡点の存在を保証する。
論文 参考訳（メタデータ） (2020-06-15T17:57:31Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳（メタデータ） (2020-04-08T09:07:11Z) - Augmented Normalizing Flows: Bridging the Gap Between Generative Flows
and Latent Variable Models [11.206144910991481]
本研究では,拡張データ空間上での新たな生成フローの族を提案する。これは,サンプリングの計算コストを大幅に増大させることなく,表現性を向上させることを目的としている。
本稿では,フローベース生成モデリングの標準ベンチマークにおける最先端性能について述べる。
論文 参考訳（メタデータ） (2020-02-17T17:45:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。