論文の概要: Noisy Deep Ensemble: Accelerating Deep Ensemble Learning via Noise Injection

• arxiv url: http://arxiv.org/abs/2504.05677v1
• Date: Tue, 08 Apr 2025 04:36:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:29:53.822333
• Title: Noisy Deep Ensemble: Accelerating Deep Ensemble Learning via Noise Injection
• Title（参考訳）: ノイズ・ディープ・アンサンブル:ノイズ・インジェクションによるディープ・アンサンブル学習の高速化
• Authors: Shunsuke Sakai, Shunsuke Tsuge, Tatsuhito Hasegawa,
• Abstract要約: ニューラルネットワークアンサンブルは、一般化能力を高めるためのシンプルだが効果的なアプローチである。 ニューラルネットワークのアンサンブルに必要なトレーニング時間を大幅に削減する,新しいtextbfNoisy Deep Ensemble' 手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Neural network ensembles is a simple yet effective approach for enhancing generalization capabilities. The most common method involves independently training multiple neural networks initialized with different weights and then averaging their predictions during inference. However, this approach increases training time linearly with the number of ensemble members. To address this issue, we propose the novel ``\textbf{Noisy Deep Ensemble}'' method, significantly reducing the training time required for neural network ensembles. In this method, a \textit{parent model} is trained until convergence, and then the weights of the \textit{parent model} are perturbed in various ways to construct multiple \textit{child models}. This perturbation of the \textit{parent model} weights facilitates the exploration of different local minima while significantly reducing the training time for each ensemble member. We evaluated our method using diverse CNN architectures on CIFAR-10 and CIFAR-100 datasets, surpassing conventional efficient ensemble methods and achieving test accuracy comparable to standard ensembles. Code is available at \href{https://github.com/TSTB-dev/NoisyDeepEnsemble}{https://github.com/TSTB-dev/NoisyDeepEnsemble}
• Abstract（参考訳）: ニューラルネットワークアンサンブルは、一般化能力を高めるためのシンプルだが効果的なアプローチである。 最も一般的な方法は、異なる重みで初期化された複数のニューラルネットワークを独立にトレーニングし、推論中に予測を平均化することである。 しかし、このアプローチは、アンサンブルメンバーの数に応じて、トレーニング時間を線形に増加させる。 この問題に対処するために,ニューラルネットワークのアンサンブルに必要なトレーニング時間を著しく短縮する,新しい ``\textbf{Noisy Deep Ensemble}' 手法を提案する。 この方法では、収束するまでは、 \textit{parent model} をトレーニングし、その後、複数の \textit{child model} を構築するために、様々な方法で \textit{parent model} の重みが摂動される。 この「textit{parent model} weights」の摂動は、各アンサンブルメンバーのトレーニング時間を著しく短縮しつつ、異なる局所ミニマの探索を容易にする。 CIFAR-10およびCIFAR-100データセット上の多様なCNNアーキテクチャを用いて,従来の効率的なアンサンブル手法を超越し,標準アンサンブルに匹敵するテスト精度を実現する。 コードは \href{https://github.com/TSTB-dev/NoisyDeepEnsemble}{https://github.com/TSTB-dev/NoisyDeepEnsemble} で公開されている。

関連論文リスト

• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Fast Ensembling with Diffusion Schrödinger Bridge [17.334437293164566]
  ディープ・アンサンブル(Deep Ensemble、DE)アプローチは、様々な初期点からニューラルネットワークを訓練し、様々な局所最適点に向かって収束させることにより、ディープ・ニューラルネットワークの性能を高めるための簡単な手法である。 本稿では,Diffusion Bridge Network (DBN) と呼ばれる新しい手法を提案する。 この軽量ニューラルネットワークDBNで重アンサンブルを置換することにより、CIFAR-10、CIFAR-100、TinyImageNetなどのベンチマークデータセットの精度と不確実性を維持しながら、計算コストを削減した推論を実現した。
  論文  参考訳（メタデータ） (2024-04-24T11:35:02Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Prune and Tune Ensembles: Low-Cost Ensemble Learning With Sparse Independent Subnetworks [0.0]
  我々は、スクラッチから複数のモデルを訓練することなく、多様なニューラルネットワークのアンサンブルを生成する、高速で低コストな方法を紹介した。 親のクローンを作成し、各子のパラメータを劇的に刈り上げ、ユニークな多様なトポロジを持つメンバのアンサンブルを作成します。 この多様性により、"Prune and Tune"アンサンブルは、トレーニングコストのごく一部で従来のアンサンブルと競合する結果を達成することができる。
  論文  参考訳（メタデータ） (2022-02-23T20:53:54Z)
• Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
  特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。 合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-02-04T15:46:27Z)
• Greedy Bayesian Posterior Approximation with Deep Ensembles [22.466176036646814]
  独立して訓練された目的の集合は、ディープラーニングにおける予測の不確実性を推定するための最先端のアプローチである。 関数空間における任意の問題に対する成分の混合に対して,本手法は部分モジュラーであることを示す。
  論文  参考訳（メタデータ） (2021-05-29T11:35:27Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning [49.77278179376902]
  Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これはtextitcatastrophic forgettingとして知られている。 最近の連続学習手法は、玩具サイズのデータセットにおける破滅的な問題を緩和することができる。 我々は,各タスクに対して,カーネルワイドなハイブリッドな2値マスクと実値のソフトマスクを学習する,textit- Kernel-wise Soft Mask (KSM) と呼ばれる新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-09-11T21:48:39Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。