論文の概要: Embedded Ensembles: Infinite Width Limit and Operating Regimes

• arxiv url: http://arxiv.org/abs/2202.12297v1
• Date: Thu, 24 Feb 2022 18:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 16:18:08.422570
• Title: Embedded Ensembles: Infinite Width Limit and Operating Regimes
• Title（参考訳）: 埋め込みアンサンブル:無限の幅制限とオペレーティングレジーム
• Authors: Maksim Velikanov, Roman Kail, Ivan Anokhin, Roman Vashurin, Maxim Panov, Alexey Zaytsev, Dmitry Yarotsky
• Abstract要約: アンサンブルニューラルネットワークに対するメモリ効率のよいアプローチは、単一の参照ネットワークを用いて、アンサンブルされたモデル間でほとんどの重みを共有することである。 私たちはこの戦略をEmbedded Ensembling (EE)と呼び、その具体的な例はBatchEnsemblesとMonte-Carloのドロップアウトアンサンブルである。
• 参考スコア（独自算出の注目度）: 15.940871041126453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A memory efficient approach to ensembling neural networks is to share most weights among the ensembled models by means of a single reference network. We refer to this strategy as Embedded Ensembling (EE); its particular examples are BatchEnsembles and Monte-Carlo dropout ensembles. In this paper we perform a systematic theoretical and empirical analysis of embedded ensembles with different number of models. Theoretically, we use a Neural-Tangent-Kernel-based approach to derive the wide network limit of the gradient descent dynamics. In this limit, we identify two ensemble regimes - independent and collective - depending on the architecture and initialization strategy of ensemble models. We prove that in the independent regime the embedded ensemble behaves as an ensemble of independent models. We confirm our theoretical prediction with a wide range of experiments with finite networks, and further study empirically various effects such as transition between the two regimes, scaling of ensemble performance with the network width and number of models, and dependence of performance on a number of architecture and hyperparameter choices.
• Abstract（参考訳）: ニューラルネットワークをセンシングするためのメモリ効率の良いアプローチは、単一の参照ネットワークによってアンサンブルされたモデル間でほとんどの重みを共有することである。 私たちはこの戦略をEmbedded Ensembling (EE)と呼び、特にBatchEnsemblesとMonte-Carloのドロップアウトアンサンブルを例に挙げる。 本稿では,モデル数が異なる組込みアンサンブルの系統的理論的および経験的解析を行う。 理論的には、勾配降下ダイナミクスの広いネットワーク限界を導出するために、ニューラルネットワークに基づくアプローチを用いる。 この制限では、アンサンブルモデルのアーキテクチャと初期化戦略に依存しない2つのアンサンブル体制を同定する。 独立系では組込みアンサンブルが独立モデルのアンサンブルとして振る舞うことが証明される。 有限ネットワークを用いた幅広い実験で理論予測を検証し,2つのレジーム間の遷移,ネットワーク幅とモデル数によるアンサンブル性能のスケーリング,多数のアーキテクチャとハイパーパラメータの選択による性能の依存性など,経験則的に様々な効果を検証した。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• A Coupled CP Decomposition for Principal Components Analysis of Symmetric Networks [11.988825533369686]
  シーケンスネットワークデータのための主成分分析(PCA)フレームワークを提案する。 提案した「結合CP」分解の効率的な計算アルゴリズムを導出する。 本稿は、シミュレーションデータと、政治科学・金融経済学の事例における提案の有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-09T20:52:19Z)
• Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
  スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-07T03:50:50Z)
• Connections between Numerical Algorithms for PDEs and Neural Networks [8.660429288575369]
  偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。 私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
  論文  参考訳（メタデータ） (2021-07-30T16:42:45Z)
• Polynomial Networks in Deep Classifiers [55.90321402256631]
  我々は深層ニューラルネットワークの研究を統一的な枠組みで行った。 私たちのフレームワークは、各モデルの誘導バイアスに関する洞察を提供します。 提案モデルの有効性を,標準画像および音声分類ベンチマークで評価した。
  論文  参考訳（メタデータ） (2021-04-16T06:41:20Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Collegial Ensembles [11.64359837358763]
  我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。 また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2020-06-13T16:40:26Z)
• Consistency of Spectral Clustering on Hierarchical Stochastic Block Models [5.983753938303726]
  実世界のネットワークにおけるコミュニティの階層構造について,汎用ブロックモデルを用いて検討する。 本手法の強い一貫性を,幅広いモデルパラメータで証明する。 既存のほとんどの研究とは異なり、我々の理論は接続確率が桁違いに異なるかもしれないマルチスケールネットワークをカバーしている。
  論文  参考訳（メタデータ） (2020-04-30T01:08:59Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)
• Semi-Structured Distributional Regression -- Extending Structured Additive Models by Arbitrary Deep Neural Networks and Data Modalities [0.0]
  本稿では、構造化回帰モデルとディープニューラルネットワークを統合ネットワークアーキテクチャに結合する一般的なフレームワークを提案する。 数値実験において,本フレームワークの有効性を実証し,ベンチマークや実世界の応用において,そのメリットを実証する。
  論文  参考訳（メタデータ） (2020-02-13T21:01:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。