論文の概要: Subset Sampling For Progressive Neural Network Learning
- arxiv url: http://arxiv.org/abs/2002.07141v2
- Date: Mon, 25 May 2020 17:47:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-31 12:07:09.626057
- Title: Subset Sampling For Progressive Neural Network Learning
- Title(参考訳): プログレッシブニューラルネットワーク学習のためのサブセットサンプリング
- Authors: Dat Thanh Tran, Moncef Gabbouj, Alexandros Iosifidis
- Abstract要約: プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。
段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。
オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
- 参考スコア(独自算出の注目度): 106.12874293597754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Progressive Neural Network Learning is a class of algorithms that
incrementally construct the network's topology and optimize its parameters
based on the training data. While this approach exempts the users from the
manual task of designing and validating multiple network topologies, it often
requires an enormous number of computations. In this paper, we propose to speed
up this process by exploiting subsets of training data at each incremental
training step. Three different sampling strategies for selecting the training
samples according to different criteria are proposed and evaluated. We also
propose to perform online hyperparameter selection during the network
progression, which further reduces the overall training time. Experimental
results in object, scene and face recognition problems demonstrate that the
proposed approach speeds up the optimization procedure considerably while
operating on par with the baseline approach exploiting the entire training set
throughout the training process.
- Abstract(参考訳): プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。
このアプローチは、複数のネットワークトポロジの設計と検証という手作業からユーザーを除外するが、多くの場合、膨大な数の計算を必要とする。
本稿では,インクリメンタルトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスを高速化することを提案する。
異なる基準に従ってトレーニングサンプルを選択するための3つの異なるサンプリング戦略を提案し,評価した。
また、ネットワーク進行中にオンラインのハイパーパラメータ選択を行うことを提案し、トレーニング時間を大幅に短縮する。
対象,場面,顔の認識問題に対する実験結果から,提案手法は,トレーニングプロセス全体を通してトレーニングセット全体を活用したベースラインアプローチと同等に動作しながら,最適化手順をかなり高速化することが示された。
関連論文リスト
- Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。
適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。
我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文 参考訳(メタデータ) (2023-07-07T15:03:42Z) - Deep Active Learning with Structured Neural Depth Search [18.180995603975422]
Active-iNASは、複数のモデルを訓練し、各アクティブラーニングサイクルの後に、その後のサンプルをクエリする最適な一般化性能でモデルを選択する。
本稿では,SVI(Structured Variational Inference)あるいはSNDS(Structured Neural Deep Search)と呼ばれる手法を用いた新しいアクティブ戦略を提案する。
同時に、理論上は、平均場推定に基づく現在のVIベースの手法が性能を低下させる可能性があることを実証している。
論文 参考訳(メタデータ) (2023-06-05T12:00:12Z) - Being Friends Instead of Adversaries: Deep Networks Learn from Data
Simplified by Other Networks [23.886422706697882]
フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。
本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。
本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
論文 参考訳(メタデータ) (2021-12-18T16:59:35Z) - Explaining Deep Learning Representations by Tracing the Training Process [10.774699463547439]
本稿では,ディープニューラルネットワークの決定を記述した新しい説明法を提案する。
本研究では,深層ネットワークの各層における中間表現がどのように洗練されているかを検討した。
提案手法は,説明として使用可能な,高度に代表的なトレーニングインスタンスを同定する。
論文 参考訳(メタデータ) (2021-09-13T11:29:04Z) - Friendly Training: Neural Networks Can Adapt Data To Make Learning
Easier [23.886422706697882]
フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。
フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。
その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
論文 参考訳(メタデータ) (2021-06-21T10:50:34Z) - TSO: Curriculum Generation using continuous optimization [0.0]
連続最適化に基づく簡便かつ効率的な手法を提案する。
エンコーダネットワークは、トレーニングシーケンスを連続空間にマップ/組込みする。
予測ネットワークは、戦略の連続表現を入力として使用し、固定ネットワークアーキテクチャの精度を予測する。
論文 参考訳(メタデータ) (2021-06-16T06:32:21Z) - Improving the Accuracy of Early Exits in Multi-Exit Architectures via
Curriculum Learning [88.17413955380262]
マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。
カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。
本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
論文 参考訳(メタデータ) (2021-04-21T11:12:35Z) - All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。
具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。
知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文 参考訳(メタデータ) (2021-03-02T03:09:03Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳(メタデータ) (2021-02-20T23:26:58Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳(メタデータ) (2021-02-03T09:30:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。