論文の概要: Minibatch training of neural network ensembles via trajectory sampling

• arxiv url: http://arxiv.org/abs/2306.13442v1
• Date: Fri, 23 Jun 2023 11:12:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 12:56:37.964301
• Title: Minibatch training of neural network ensembles via trajectory sampling
• Title（参考訳）: 軌道サンプリングによるニューラルネットワークアンサンブルのミニバッチトレーニング
• Authors: Jamie F. Mair, Luke Causer, Juan P. Garrahan
• Abstract要約: また,ニューラルネットアンサンブル(NNE)をトラジェクトリ法により高効率にトレーニングするためにも,ミニバッチアプローチが利用できることを示す。 MNISTデータセット内の画像を分類するためにNNEを訓練することで、このアプローチを説明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most iterative neural network training methods use estimates of the loss function over small random subsets (or minibatches) of the data to update the parameters, which aid in decoupling the training time from the (often very large) size of the training datasets. Here, we show that a minibatch approach can also be used to train neural network ensembles (NNEs) via trajectory methods in a highly efficent manner. We illustrate this approach by training NNEs to classify images in the MNIST datasets. This method gives an improvement to the training times, allowing it to scale as the ratio of the size of the dataset to that of the average minibatch size which, in the case of MNIST, gives a computational improvement typically of two orders of magnitude. We highlight the advantage of using longer trajectories to represent NNEs, both for improved accuracy in inference and reduced update cost in terms of the samples needed in minibatch updates.
• Abstract（参考訳）: ほとんどの反復型ニューラルネットワークトレーニング手法では、データの小さなランダムなサブセット(あるいはミニバッチ)に対する損失関数の見積を使用してパラメータを更新することで、トレーニングデータセットの(非常に大きな)サイズからトレーニング時間を分離する。 ここでは,ニューラルネットアンサンブル(NNE)をトラジェクトリ法により高効率に訓練するためにも,ミニバッチアプローチが利用できることを示す。 MNISTデータセット内の画像を分類するためにNNEを訓練することで、このアプローチを説明する。 この方法では、トレーニング時間を改善し、データセットのサイズと平均的なミニバッチサイズの比率としてスケールすることが可能であり、mnistの場合、典型的には2桁の数値改善を与える。 NNEの表現に長い軌跡を用いることの利点は、推論精度の向上と、ミニバッチ更新に必要なサンプルの更新コストの削減である。

関連論文リスト

• BLoad: Enhancing Neural Network Training with Efficient Sequential Data Handling [8.859850475075238]
  オーバヘッドを最小限に抑えながら、異なるサイズのシーケンスに対して効率的な分散データ並列トレーニングを可能にする新しいトレーニング手法を提案する。 このスキームを使用することで、単一のフレームを削除することなく、パディング量を100ドル以上削減することができ、結果として、トレーニング時間とリコールの両方で全体的なパフォーマンスが向上しました。
  論文  参考訳（メタデータ） (2023-10-16T23:14:56Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Selfish Sparse RNN Training [13.165729746380816]
  本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。 我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
  論文  参考訳（メタデータ） (2021-01-22T10:45:40Z)
• Data optimization for large batch distributed training of deep neural networks [0.19336815376402716]
  ディープニューラルネットワークの分散トレーニングの現在のプラクティスは、大規模運用における通信ボトルネックの課題に直面している。 本研究では,局所的ミニマの少ない損失環境を暗黙的に平滑化するために,機械学習を用いたデータ最適化手法を提案する。 当社のアプローチでは,機能学習において重要でないデータポイントをフィルタリングすることで,より大きなバッチサイズでのモデルのトレーニングを高速化し,精度の向上を実現しています。
  論文  参考訳（メタデータ） (2020-12-16T21:22:02Z)
• RNN Training along Locally Optimal Trajectories via Frank-Wolfe Algorithm [50.76576946099215]
  小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。 新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
  論文  参考訳（メタデータ） (2020-10-12T01:59:18Z)
• Optimal training of integer-valued neural networks with mixed integer programming [2.528056693920671]
  我々は、トレーニング効率を改善し、整数値ニューラルネットワーク(INN)の重要なクラスをトレーニングできる新しいMIPモデルを開発した。 MIPソルバがトレーニングに使用できるデータ量を劇的に増加させるバッチトレーニング方法を提案する。 実世界の2つのデータ制限データセットによる実験結果から,我々の手法は,NNをMIPでトレーニングする際の従来の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-08T15:45:44Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。