論文の概要: Population Gradients improve performance across data-sets and
architectures in object classification
- arxiv url: http://arxiv.org/abs/2010.12260v1
- Date: Fri, 23 Oct 2020 09:40:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 21:34:18.436959
- Title: Population Gradients improve performance across data-sets and
architectures in object classification
- Title（参考訳）: 集団勾配はオブジェクト分類におけるデータセットとアーキテクチャのパフォーマンスを改善する
- Authors: Yurika Sakai, Andrey Kormilitzin, Qiang Liu, Alejo Nevado-Holgado
- Abstract要約: ニューラルネットワーク(NN)の学習中に勾配を計算する新しい手法を提案する。
アーキテクチャ、データセット、ハイパーパラメータ値、トレーニング長、モデルサイズにわたる最終的なパフォーマンスを大幅に改善する。
私たちがテストした広範囲な状況において有効であるのに加えて、パフォーマンスの向上(例えば、F1)は他の広範なパフォーマンス改善手法のどれよりも高いか高いかのどちらかです。
- 参考スコア（独自算出の注目度）: 6.17047113475566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The most successful methods such as ReLU transfer functions, batch
normalization, Xavier initialization, dropout, learning rate decay, or dynamic
optimizers, have become standards in the field due, particularly, to their
ability to increase the performance of Neural Networks (NNs) significantly and
in almost all situations. Here we present a new method to calculate the
gradients while training NNs, and show that it significantly improves final
performance across architectures, data-sets, hyper-parameter values, training
length, and model sizes, including when it is being combined with other common
performance-improving methods (such as the ones mentioned above). Besides being
effective in the wide array situations that we have tested, the increase in
performance (e.g. F1) it provides is as high or higher than this one of all the
other widespread performance-improving methods that we have compared against.
We call our method Population Gradients (PG), and it consists on using a
population of NNs to calculate a non-local estimation of the gradient, which is
closer to the theoretical exact gradient (i.e. this one obtainable only with an
infinitely big data-set) of the error function than the empirical gradient
(i.e. this one obtained with the real finite data-set).
- Abstract（参考訳）: relu転送関数、バッチ正規化、xavier初期化、ドロップアウト、学習率減衰、ダイナミックオプティマイザといった最も成功した手法は、特にニューラルネットワーク(nns)の性能を著しく向上させる能力が、ほぼすべての状況において、この分野において標準となっている。
本稿では,NNのトレーニング中に勾配を計算する新しい手法を提案するとともに,アーキテクチャ,データセット,ハイパーパラメータ値,トレーニング長,モデルサイズなど,他の一般的な性能改善手法(上記のような)と組み合わせた場合を含む最終性能を著しく向上させることを示す。
テスト対象の広範囲な状況において有効であることに加えて、パフォーマンスの向上(例えばF1)は、私たちが比較した他の広範なパフォーマンス改善手法のどれよりも高く、あるいは高くなっています。
我々はこの手法を人口勾配 (pg) と呼び, nns の集団を用いて, 理論的厳密な勾配 (すなわち, 無限大データセットでのみ得られる) に近い勾配の非局所推定を計算し, 経験的勾配 (すなわち, 実有限データセットで得られる) よりも誤差関数の計算を行う。
関連論文リスト
- Haste Makes Waste: A Simple Approach for Scaling Graph Neural Networks [37.41604955004456]
グラフニューラルネットワーク(GNN)はグラフ表現学習において顕著な成功を収めている。
GNNを大規模グラフのアプリケーションに拡張するための様々なサンプリング手法が提案されている。
論文 参考訳（メタデータ） (2024-10-07T18:29:02Z) - An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。
メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。
モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-07-30T16:30:09Z) - Efficient and Effective Implicit Dynamic Graph Neural Network [42.49148111696576]
Indicit Dynamic Graph Neural Network (IDGNN) は動的グラフのための新しい暗黙的ニューラルネットワークである。
IDGNNの鍵となる特徴は、それが実証的に良好である、すなわち、固定点表現を持つことが理論的に保証されていることである。
論文 参考訳（メタデータ） (2024-06-25T19:07:21Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Neural Gradient Learning and Optimization for Oriented Point Normal
Estimation [53.611206368815125]
本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。
局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。
本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
論文 参考訳（メタデータ） (2023-09-17T08:35:11Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Penalizing Gradient Norm for Efficiently Improving Generalization in
Deep Learning [13.937644559223548]
ディープニューラルネットワーク(DNN)をうまく一般化するためのトレーニング方法が、ディープラーニングの中心的な関心事である。
最適化時の損失関数の勾配ノルムをペナルティ化することにより,モデル一般化を効果的に向上する手法を提案する。
論文 参考訳（メタデータ） (2022-02-08T02:03:45Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Train Like a (Var)Pro: Efficient Training of Neural Networks with
Variable Projection [2.7561479348365734]
ディープニューラルネットワーク(DNN)は、さまざまな従来の機械学習タスクで最先端のパフォーマンスを達成した。
本稿では,多くの最先端アプリケーションで発生するDNNのトレーニングについて考察する。
論文 参考訳（メタデータ） (2020-07-26T16:29:39Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳（メタデータ） (2020-07-07T10:05:01Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。