論文の概要: Invertible DenseNets
- arxiv url: http://arxiv.org/abs/2010.02125v3
- Date: Fri, 8 Jan 2021 18:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:03:53.217192
- Title: Invertible DenseNets
- Title(参考訳): Invertible DenseNets
- Authors: Yura Perugachi-Diaz, Jakub M. Tomczak, Sandjai Bhulai
- Abstract要約: Invertible Dense Networks (i-DenseNets) をResidual Flowsのより効率的な代替品として紹介する。
我々は,おもちゃ,MNIST,CIFAR10データにおけるi-DenseNetsおよびResidual Flowsの性能を示す。
- 参考スコア(独自算出の注目度): 7.895232155155041
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Invertible Dense Networks (i-DenseNets), a more parameter
efficient alternative to Residual Flows. The method relies on an analysis of
the Lipschitz continuity of the concatenation in DenseNets, where we enforce
the invertibility of the network by satisfying the Lipschitz constraint.
Additionally, we extend this method by proposing a learnable concatenation,
which not only improves the model performance but also indicates the importance
of the concatenated representation. We demonstrate the performance of
i-DenseNets and Residual Flows on toy, MNIST, and CIFAR10 data. Both
i-DenseNets outperform Residual Flows evaluated in negative log-likelihood, on
all considered datasets under an equal parameter budget.
- Abstract(参考訳): 残差流の代替として,よりパラメータ効率の良いi-デンセネットを導入する。
この方法は、密度ネットにおける結合のリプシッツ連続性の解析に依存しており、リプシッツ制約を満たすことでネットワークの可逆性を強制する。
さらに,学習可能な連結法を提案することで,モデルの性能を向上させるだけでなく,連結表現の重要性も示す。
我々は,おもちゃ,MNIST,CIFAR10データにおけるi-DenseNetsおよびResidual Flowsの性能を示す。
両方のi-DenseNetsは、同じパラメータ予算の下で考慮されたすべてのデータセットにおいて、負の対数類似度で評価された残留フローを上回ります。
関連論文リスト
- Investigating the Effect of Network Pruning on Performance and Interpretability [0.0]
異なる刈り取り技術がGoogLeNetの分類性能と解釈性に与える影響について検討する。
我々は,反復的刈り込みやワンショット刈り込みなど,異なるトレーニング戦略を比較した。
十分な再学習エポックがあれば、ネットワークの性能はデフォルトのGoogLeNetの性能に近似できる。
論文 参考訳(メタデータ) (2024-09-29T14:57:45Z) - Baking Symmetry into GFlowNets [58.932776403471635]
GFlowNetsは、さまざまな候補を高い報酬で生成する上で、有望なパフォーマンスを示している。
本研究は,生成過程における等価な動作を特定することにより,GFlowNetに対称性を統合することを目的とする。
論文 参考訳(メタデータ) (2024-06-08T10:11:10Z) - Bifurcated Generative Flow Networks [32.40020432840822]
Bifurcated GFlowNets (BN) は、状態フローとエッジベースのフローアロケーションの別々の表現にフローを分解する新しいアプローチである。
BNは,強いベースラインに比べて学習効率と効果を著しく向上することを示した。
論文 参考訳(メタデータ) (2024-06-04T02:12:27Z) - Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。
我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
論文 参考訳(メタデータ) (2023-10-19T15:02:45Z) - DDG-Net: Discriminability-Driven Graph Network for Weakly-supervised
Temporal Action Localization [40.521076622370806]
本稿では、曖昧なスニペットとよく設計された接続を持つ識別的スニペットを明示的にモデル化した識別可能性駆動グラフネットワーク(DDG-Net)を提案する。
THUMOS14とActivityNet1.2ベンチマークの実験では、DDG-Netの有効性が示されている。
論文 参考訳(メタデータ) (2023-07-31T05:48:39Z) - Regularization of polynomial networks for image recognition [78.4786845859205]
PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。
6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
論文 参考訳(メタデータ) (2023-03-24T10:05:22Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-10T03:59:03Z) - Invertible DenseNets with Concatenated LipSwish [8.315801422499861]
Invertible Dense Networks (i-DenseNets) をResidual Flowsのより効率的な代替品として紹介する。
本稿では,モデルが生成モデルと識別モデルの両方を持つハイブリッドモデルとして訓練された場合,提案モデルが残留流れより優れていることを示す。
論文 参考訳(メタデータ) (2021-02-04T15:45:33Z) - Cascade Network with Guided Loss and Hybrid Attention for Finding Good
Correspondences [33.65360396430535]
画像対の対応セットが与えられた場合、バイナリクラス分類器によって正しい対応を見つけるニューラルネットワークを提案する。
対象関数を動的に調整するためのガイダンスとして評価基準(Fn測度)を直接利用できる新しいガイド付き損失を提案する。
次に、ベイズ文脈正規化(BACN)とチャネルワイドアテンション(CA)を統合した特徴抽出のためのハイブリッドアテンションブロックを提案する。
論文 参考訳(メタデータ) (2021-01-31T08:33:20Z) - Toward fast and accurate human pose estimation via soft-gated skip
connections [97.06882200076096]
本稿では,高精度かつ高効率な人間のポーズ推定について述べる。
我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。
本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
論文 参考訳(メタデータ) (2020-02-25T18:51:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。