論文の概要: PFGE: Parsimonious Fast Geometric Ensembling of DNNs

• arxiv url: http://arxiv.org/abs/2202.06658v8
• Date: Tue, 23 May 2023 08:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 01:59:23.421906
• Title: PFGE: Parsimonious Fast Geometric Ensembling of DNNs
• Title（参考訳）: PFGE:DNNの高速な幾何学的組み立て
• Authors: Hao Guo, Jiyong Jin, Bin Liu
• Abstract要約: 本稿では,高性能深層ニューラルネットワークの軽量アンサンブルを用いたPFGE( parsimonious FGE)を提案する。 以上の結果から,PFGE 5xのメモリ効率は従来の手法に比べて向上した。
• 参考スコア（独自算出の注目度）: 6.973476713852153
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Ensemble methods are commonly used to enhance the generalization performance of machine learning models. However, they present a challenge in deep learning systems due to the high computational overhead required to train an ensemble of deep neural networks (DNNs). Recent advancements such as fast geometric ensembling (FGE) and snapshot ensembles have addressed this issue by training model ensembles in the same time as a single model. Nonetheless, these techniques still require additional memory for test-time inference compared to single-model-based methods. In this paper, we propose a new method called parsimonious FGE (PFGE), which employs a lightweight ensemble of higher-performing DNNs generated through successive stochastic weight averaging procedures. Our experimental results on CIFAR-{10,100} and ImageNet datasets across various modern DNN architectures demonstrate that PFGE achieves 5x memory efficiency compared to previous methods, without compromising on generalization performance. For those interested, our code is available at https://github.com/ZJLAB-AMMI/PFGE.
• Abstract（参考訳）: アンサンブル法は、機械学習モデルの一般化性能を高めるために一般的に用いられる。 しかし、深層ニューラルネットワーク(DNN)のアンサンブルをトレーニングするために必要な計算オーバーヘッドが高いため、ディープラーニングシステムでは課題が提示される。 fge(fast geometric ensembling)やスナップショットアンサンブルといった最近の進歩は、単一モデルとして同時にモデルのアンサンブルを訓練することでこの問題に対処している。 それでも、これらのテクニックは単モデルベースの手法と比較してテスト時間推論のための追加メモリを必要とする。 本稿では,連続した確率的重み付け処理によって生成される高性能DNNの軽量アンサンブルを用いたPFGE ( parsimonious FGE) と呼ばれる新しい手法を提案する。 CIFAR-{10,100} と ImageNet の様々な最新の DNN アーキテクチャに対する実験結果から,PFGE が一般化性能を損なうことなく,従来の手法に比べて5倍のメモリ効率を実現することが示された。 興味のある人のために、私たちのコードはhttps://github.com/ZJLAB-AMMI/PFGE.comで入手できる。

関連論文リスト

• Fast Ensembling with Diffusion Schrödinger Bridge [17.334437293164566]
  ディープ・アンサンブル(Deep Ensemble、DE)アプローチは、様々な初期点からニューラルネットワークを訓練し、様々な局所最適点に向かって収束させることにより、ディープ・ニューラルネットワークの性能を高めるための簡単な手法である。 本稿では,Diffusion Bridge Network (DBN) と呼ばれる新しい手法を提案する。 この軽量ニューラルネットワークDBNで重アンサンブルを置換することにより、CIFAR-10、CIFAR-100、TinyImageNetなどのベンチマークデータセットの精度と不確実性を維持しながら、計算コストを削減した推論を実現した。
  論文  参考訳（メタデータ） (2024-04-24T11:35:02Z)
• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• MS-RNN: A Flexible Multi-Scale Framework for Spatiotemporal Predictive Learning [7.311071760653835]
  予測学習のための最近のRNNモデルを強化するために,Multi-Scale RNN (MS-RNN) という汎用フレームワークを提案する。 我々はMS-RNNフレームワークを理論解析と徹底的な実験により検証する。 その結果、我々のフレームワークを組み込んだRNNモデルは、メモリコストが大幅に削減されるが、以前よりも性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2022-06-07T04:57:58Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Collegial Ensembles [11.64359837358763]
  我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。 また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2020-06-13T16:40:26Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。