論文の概要: Invertible DenseNets with Concatenated LipSwish
- arxiv url: http://arxiv.org/abs/2102.02694v1
- Date: Thu, 4 Feb 2021 15:45:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-02-05 16:41:32.907676
- Title: Invertible DenseNets with Concatenated LipSwish
- Title（参考訳）: LipSwishを連結したInvertible DenseNets
- Authors: Yura Perugachi-Diaz, Jakub M. Tomczak, Sandjai Bhulai
- Abstract要約: Invertible Dense Networks (i-DenseNets) をResidual Flowsのより効率的な代替品として紹介する。
本稿では,モデルが生成モデルと識別モデルの両方を持つハイブリッドモデルとして訓練された場合,提案モデルが残留流れより優れていることを示す。
- 参考スコア（独自算出の注目度）: 8.315801422499861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Invertible Dense Networks (i-DenseNets), a more parameter
efficient alternative to Residual Flows. The method relies on an analysis of
the Lipschitz continuity of the concatenation in DenseNets, where we enforce
invertibility of the network by satisfying the Lipschitz constant. We extend
this method by proposing a learnable concatenation, which not only improves the
model performance but also indicates the importance of the concatenated
representation. Additionally, we introduce the Concatenated LipSwish as
activation function, for which we show how to enforce the Lipschitz condition
and which boosts performance. The new architecture, i-DenseNet, out-performs
Residual Flow and other flow-based models on density estimation evaluated in
bits per dimension, where we utilize an equal parameter budget. Moreover, we
show that the proposed model out-performs Residual Flows when trained as a
hybrid model where the model is both a generative and a discriminative model.
- Abstract（参考訳）: 残差フローに代わるよりパラメータ効率の良いInvertible Dense Networks(i-DenseNets)を紹介します。
この方法は、Lipschitz定数を満たすことによってネットワークの反転性を強制するDenseNetsの連結のLipschitz連続性の分析に依存します。
本手法は,モデル性能の向上だけでなく,連結表現の重要性も示し,学習可能な連結を提案して拡張する。
さらに、Lipschitz条件を強制する方法を示し、パフォーマンスを高めるためのアクティベーション機能としてConcatenated LipSwishを紹介します。
新しいアーキテクチャ i-DenseNet はResidual Flow や他のフローベースモデルと同等のパラメータ予算を用いて,次元当たりのビットで評価された密度推定を行う。
さらに, モデルが生成モデルと判別モデルの両方であるハイブリッドモデルとして訓練された場合, 提案モデルが残差流を上回ることを示す。
関連論文リスト
- How can representation dimension dominate structurally pruned LLMs? [17.953689537875377]
プルーニングは、元のディープニューラルネットワークにサブネットワークが存在すると仮定する。
異なるサブネットワーク抽出によってモデル性能がどう変化するかは明らかでない。
論文 参考訳（メタデータ） (2025-03-06T12:28:59Z) - Fisher Flow Matching for Generative Modeling over Discrete Data [12.69975914345141]
離散データのための新しいフローマッチングモデルであるFisher-Flowを紹介する。
Fisher-Flowは、離散データ上のカテゴリー分布を考慮し、明らかに幾何学的な視点を採っている。
Fisher-Flowにより誘導される勾配流は, 前方KLの発散を低減するのに最適であることを示す。
論文 参考訳（メタデータ） (2024-05-23T15:02:11Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z) - Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。
我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
論文 参考訳（メタデータ） (2023-10-19T15:02:45Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-05-30T10:07:17Z) - Invertible Monotone Operators for Normalizing Flows [7.971699294672282]
正規化フローモデル確率は、単純な分布を複素分布に変換する可逆変換を学習することによって得られる。
単調作用素を用いたリプシッツ定数の問題を克服するための単調定式化を提案する。
結果として得られるモデルであるMonotone Flowsは、複数の密度推定ベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-10-15T03:40:46Z) - Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。
次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。
実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
論文 参考訳（メタデータ） (2022-07-13T22:55:04Z) - Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。
ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。
我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
論文 参考訳（メタデータ） (2021-09-24T18:02:49Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Invertible DenseNets [7.895232155155041]
Invertible Dense Networks (i-DenseNets) をResidual Flowsのより効率的な代替品として紹介する。
我々は,おもちゃ,MNIST,CIFAR10データにおけるi-DenseNetsおよびResidual Flowsの性能を示す。
論文 参考訳（メタデータ） (2020-10-05T16:11:39Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。