論文の概要: On Power Laws in Deep Ensembles
- arxiv url: http://arxiv.org/abs/2007.08483v2
- Date: Mon, 28 Jun 2021 13:19:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 22:23:36.092541
- Title: On Power Laws in Deep Ensembles
- Title(参考訳): 深層集合における電力法則について
- Authors: Ekaterina Lobacheva, Nadezhda Chirkova, Maxim Kodryan, Dmitry Vetrov
- Abstract要約: 1つの大きなネットワークは、同じ数のパラメータを持つ複数の中規模ネットワークのアンサンブルよりも性能が悪くなる可能性があることを示す。
検出された電力法則的依存関係を用いて、所定の構造を持つネットワークの集合から得られる利益を予測することができる。
- 参考スコア(独自算出の注目度): 12.739425443572202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensembles of deep neural networks are known to achieve state-of-the-art
performance in uncertainty estimation and lead to accuracy improvement. In this
work, we focus on a classification problem and investigate the behavior of both
non-calibrated and calibrated negative log-likelihood (CNLL) of a deep ensemble
as a function of the ensemble size and the member network size. We indicate the
conditions under which CNLL follows a power law w.r.t. ensemble size or member
network size, and analyze the dynamics of the parameters of the discovered
power laws. Our important practical finding is that one large network may
perform worse than an ensemble of several medium-size networks with the same
total number of parameters (we call this ensemble a memory split). Using the
detected power law-like dependencies, we can predict (1) the possible gain from
the ensembling of networks with given structure, (2) the optimal memory split
given a memory budget, based on a relatively small number of trained networks.
We describe the memory split advantage effect in more details in
arXiv:2005.07292
- Abstract(参考訳): ディープニューラルネットワークのアンサンブルは、不確実性推定における最先端のパフォーマンスを実現し、精度の向上につながることが知られている。
本研究では,分類問題に着目し,アンサンブルサイズとメンバーネットワークサイズの関数として,奥行きアンサンブルの非連結および校正負ログ様相(cnll)の挙動について検討する。
本論文は,cnllがパワールールw.r.t.アンサンブルサイズまたはメンバーネットワークサイズに従う条件を示し,検出されたパワールールのパラメータのダイナミクスを解析する。
我々の重要な実践的な発見は、1つの大きなネットワークは、同じパラメーターの複数の中規模のネットワークのアンサンブルよりもパフォーマンスが悪くなることである(このアンサンブルをメモリスプリットと呼ぶ)。
検出された電力法的な依存関係を用いて、(1)所定の構造を持つネットワークの集合から得られる可能性、(2)比較的少数の訓練されたネットワークに基づいて、メモリ予算が与えられた最適なメモリ分割を予測することができる。
arXiv:2005.07292のメモリ分割効果について詳しく述べる。
関連論文リスト
- Make Interval Bound Propagation great again [7.121259735505479]
医療データ分析,自律運転,対人訓練など,実生活に動機づけられたさまざまなシナリオにおいて,我々は,堅牢なディープネットワークに関心を持っている。
本稿では,所定の事前学習ネットワークのロバスト性を計算する方法と,ロバストネットワークの構築方法について述べる。
ニューラルネットワークのラップ効果を軽減するために、厳密な計算に特化した2つの古典的なアプローチを適用する。
論文 参考訳(メタデータ) (2024-10-04T12:39:46Z) - Regressions on quantum neural networks at maximal expressivity [0.0]
我々は、ネストした量子ビット回転の連続として構成できる普遍的な深部ニューラルネットワークの表現性を分析する。
最大表現力は、ネットワークの深さとキュービット数によって増大するが、基本的にはデータ符号化機構によって拘束される。
論文 参考訳(メタデータ) (2023-11-10T14:43:24Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳(メタデータ) (2021-08-28T20:39:54Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳(メタデータ) (2021-08-02T08:21:44Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳(メタデータ) (2020-10-02T16:50:26Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Ensembled sparse-input hierarchical networks for high-dimensional
datasets [8.629912408966145]
サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。
提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。
EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
論文 参考訳(メタデータ) (2020-05-11T02:08:53Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2020-04-06T15:51:00Z) - Splitting Convolutional Neural Network Structures for Efficient
Inference [11.031841470875571]
ネットワーク構造を、元のネットワークよりも少ないメモリを消費する小さな部分に分割する手法が提案されている。
この分割手法は、CIFAR10画像の分類のために、VGG16とResNet18のよく知られた2つのネットワーク構造でテストされている。
論文 参考訳(メタデータ) (2020-02-09T06:53:18Z) - Mixed-Precision Quantized Neural Network with Progressively Decreasing
Bitwidth For Image Classification and Object Detection [21.48875255723581]
ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。
典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
論文 参考訳(メタデータ) (2019-12-29T14:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。