論文の概要: In deep reinforcement learning, a pruned network is a good network
- arxiv url: http://arxiv.org/abs/2402.12479v1
- Date: Mon, 19 Feb 2024 19:34:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 18:22:57.439597
- Title: In deep reinforcement learning, a pruned network is a good network
- Title(参考訳): 深層強化学習において、刈り込みネットワークは良いネットワークである
- Authors: Johan Obando-Ceron and Aaron Courville and Pablo Samuel Castro
- Abstract要約: 深層強化学習エージェントは,ネットワークパラメータの有効利用が困難である。
段階的等級プルーニングにより,エージェントがパラメータの有効性を最大化できることを示す。
この結果、従来のネットワークよりも劇的なパフォーマンス向上をもたらすネットワークが生まれる。
- 参考スコア(独自算出の注目度): 15.034544525635226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work has shown that deep reinforcement learning agents have difficulty
in effectively using their network parameters. We leverage prior insights into
the advantages of sparse training techniques and demonstrate that gradual
magnitude pruning enables agents to maximize parameter effectiveness. This
results in networks that yield dramatic performance improvements over
traditional networks and exhibit a type of "scaling law", using only a small
fraction of the full network parameters.
- Abstract(参考訳): 近年の研究では、深層強化学習エージェントがネットワークパラメータを効果的に利用するのが困難であることが示されている。
我々は,スパーストレーニング手法の利点に対する事前の知見を活用し,段階的マグニチュードプルーニングによってパラメータの有効性を最大化できることを実証する。
これにより、従来のネットワークよりも劇的な性能向上をもたらし、完全なネットワークパラメータのごく一部しか使用しない「スケーリング法則」の型を示すネットワークが得られる。
関連論文リスト
- Stimulative Training++: Go Beyond The Performance Limits of Residual
Networks [91.5381301894899]
残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。
従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。
残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
論文 参考訳(メタデータ) (2023-05-04T02:38:11Z) - DIPNet: Efficiency Distillation and Iterative Pruning for Image
Super-Resolution [38.73287113121911]
本稿では,軽量ネットワークが優れた性能を達成できる,新しいマルチステージ軽量ネットワークブースティング手法を提案する。
具体的には、軽量な学生ネットワークの学習能力を向上させるために、高度な高解像度出力を追加の監督として活用する。
我々は、マルチアンカー蒸留とプログレッシブラーニングを組み合わせた効果的な軽量ネットワークトレーニング戦略を採用し、軽量ネットワークの優れた性能を実現する。
論文 参考訳(メタデータ) (2023-04-14T09:23:21Z) - Influencer Detection with Dynamic Graph Neural Networks [56.1837101824783]
インフルエンサー検出のための動的グラフニューラルネットワーク(GNN)の構成について検討する。
GNNにおける深層多面的注意と時間特性の符号化が性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2022-11-15T13:00:25Z) - Stimulative Training of Residual Networks: A Social Psychology
Perspective of Loafing [86.69698062642055]
残余のネットワークは大きな成功を収め、今日のディープモデルでは欠かせないものになっている。
我々は,新たな社会的心理学的視点から,残余ネットワークのトレーニングプロセスを再検討することを目的としている。
残余ネットワークの性能を高めるための新たなトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2022-10-09T03:15:51Z) - Training Larger Networks for Deep Reinforcement Learning [18.193180866998333]
ネットワーク容量の増加は性能を向上しないことを示す。
本稿では,1)DenseNet接続の広いネットワーク,2)RLのトレーニングから表現学習を分離する,3)オーバーフィッティング問題を軽減するための分散トレーニング手法を提案する。
この3倍の手法を用いることで、非常に大きなネットワークをトレーニングでき、性能が大幅に向上することを示す。
論文 参考訳(メタデータ) (2021-02-16T02:16:54Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳(メタデータ) (2021-01-31T22:48:50Z) - Channel Planting for Deep Neural Networks using Knowledge Distillation [3.0165431987188245]
我々は,植林と呼ばれる深層ニューラルネットワークのための新しいインクリメンタルトレーニングアルゴリズムを提案する。
本システムでは,ネットワーク性能向上のためのパラメータの少ない最適ネットワークアーキテクチャを探索できる。
CIFAR-10/100 や STL-10 などの異なるデータセットに対する提案手法の有効性を評価する。
論文 参考訳(メタデータ) (2020-11-04T16:29:59Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳(メタデータ) (2020-06-28T23:09:27Z) - Exploring Model Robustness with Adaptive Networks and Improved
Adversarial Training [56.82000424924979]
入力サンプルに条件付きでネットワークを適応させる条件正規化モジュールを提案する。
適応的ネットワークは、一度逆さまに訓練された場合、クリーンな検証精度と堅牢性の両方において、適応的でないネットワークよりも優れています。
論文 参考訳(メタデータ) (2020-05-30T23:23:56Z) - Differentiable Sparsification for Deep Neural Networks [0.0]
本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。
提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。
私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
論文 参考訳(メタデータ) (2019-10-08T03:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。