論文の概要: Invertible DenseNets
- arxiv url: http://arxiv.org/abs/2010.02125v3
- Date: Fri, 8 Jan 2021 18:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:03:53.217192
- Title: Invertible DenseNets
- Title(参考訳): Invertible DenseNets
- Authors: Yura Perugachi-Diaz, Jakub M. Tomczak, Sandjai Bhulai
- Abstract要約: Invertible Dense Networks (i-DenseNets) をResidual Flowsのより効率的な代替品として紹介する。
我々は,おもちゃ,MNIST,CIFAR10データにおけるi-DenseNetsおよびResidual Flowsの性能を示す。
- 参考スコア(独自算出の注目度): 7.895232155155041
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Invertible Dense Networks (i-DenseNets), a more parameter
efficient alternative to Residual Flows. The method relies on an analysis of
the Lipschitz continuity of the concatenation in DenseNets, where we enforce
the invertibility of the network by satisfying the Lipschitz constraint.
Additionally, we extend this method by proposing a learnable concatenation,
which not only improves the model performance but also indicates the importance
of the concatenated representation. We demonstrate the performance of
i-DenseNets and Residual Flows on toy, MNIST, and CIFAR10 data. Both
i-DenseNets outperform Residual Flows evaluated in negative log-likelihood, on
all considered datasets under an equal parameter budget.
- Abstract(参考訳): 残差流の代替として,よりパラメータ効率の良いi-デンセネットを導入する。
この方法は、密度ネットにおける結合のリプシッツ連続性の解析に依存しており、リプシッツ制約を満たすことでネットワークの可逆性を強制する。
さらに,学習可能な連結法を提案することで,モデルの性能を向上させるだけでなく,連結表現の重要性も示す。
我々は,おもちゃ,MNIST,CIFAR10データにおけるi-DenseNetsおよびResidual Flowsの性能を示す。
両方のi-DenseNetsは、同じパラメータ予算の下で考慮されたすべてのデータセットにおいて、負の対数類似度で評価された残留フローを上回ります。
関連論文リスト
- Model Merging by Uncertainty-Based Gradient Matching [70.30998557925936]
ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。
我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
論文 参考訳(メタデータ) (2023-10-19T15:02:45Z) - FRS-Nets: Fourier Parameterized Rotation and Scale Equivariant Networks
for Retinal Vessel Segmentation [55.4653338610275]
フーリエのパラメータ化と回転とスケーリングに等価な新しい畳み込み演算子 (FRS-Conv) を構築する。
対応するベースラインの13.9%のパラメータで、FRS-Netは最先端のパフォーマンスを達成した。
FRS-Netsの顕著な精度、一般化、臨床応用の可能性を示す。
論文 参考訳(メタデータ) (2023-09-27T13:14:57Z) - DDG-Net: Discriminability-Driven Graph Network for Weakly-supervised
Temporal Action Localization [40.521076622370806]
本稿では、曖昧なスニペットとよく設計された接続を持つ識別的スニペットを明示的にモデル化した識別可能性駆動グラフネットワーク(DDG-Net)を提案する。
THUMOS14とActivityNet1.2ベンチマークの実験では、DDG-Netの有効性が示されている。
論文 参考訳(メタデータ) (2023-07-31T05:48:39Z) - Regularization of polynomial networks for image recognition [78.4786845859205]
PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。
6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
論文 参考訳(メタデータ) (2023-03-24T10:05:22Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting
and Output Merging [36.027765880474526]
Pruning Deep Neural Networks (DNN) は、推論ランタイムアクセラレーションの目標において、顕著な研究分野である。
本稿では,新しいデータフリープルーニングプロトコルRED++を紹介する。
ハッシュによる精度の保存に関する理論的および実証的な保証について検討する。
論文 参考訳(メタデータ) (2021-09-30T09:31:11Z) - Densely connected neural networks for nonlinear regression [8.830042935753303]
本稿では,畳み込み層とプール層を完全連結層に置き換えた新しいDenseNet回帰モデルを提案する。
結果は最適な深さ(19)を与え、限られた入力次元(200以下)を推奨する。
最終的に、DenseNet回帰は相対湿度を予測するために適用され、その結果は観測と高い相関(0.91)を示す。
論文 参考訳(メタデータ) (2021-07-29T03:41:56Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-10T03:59:03Z) - Invertible DenseNets with Concatenated LipSwish [8.315801422499861]
Invertible Dense Networks (i-DenseNets) をResidual Flowsのより効率的な代替品として紹介する。
本稿では,モデルが生成モデルと識別モデルの両方を持つハイブリッドモデルとして訓練された場合,提案モデルが残留流れより優れていることを示す。
論文 参考訳(メタデータ) (2021-02-04T15:45:33Z) - Cascade Network with Guided Loss and Hybrid Attention for Finding Good
Correspondences [33.65360396430535]
画像対の対応セットが与えられた場合、バイナリクラス分類器によって正しい対応を見つけるニューラルネットワークを提案する。
対象関数を動的に調整するためのガイダンスとして評価基準(Fn測度)を直接利用できる新しいガイド付き損失を提案する。
次に、ベイズ文脈正規化(BACN)とチャネルワイドアテンション(CA)を統合した特徴抽出のためのハイブリッドアテンションブロックを提案する。
論文 参考訳(メタデータ) (2021-01-31T08:33:20Z) - Toward fast and accurate human pose estimation via soft-gated skip
connections [97.06882200076096]
本稿では,高精度かつ高効率な人間のポーズ推定について述べる。
我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。
本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
論文 参考訳(メタデータ) (2020-02-25T18:51:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。