Fugu-MT 論文翻訳(概要): In value-based deep reinforcement learning, a pruned network is a good network

論文の概要: In value-based deep reinforcement learning, a pruned network is a good network

arxiv url: http://arxiv.org/abs/2402.12479v2
Date: Tue, 4 Jun 2024 13:42:06 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 12:48:21.978668
Title: In value-based deep reinforcement learning, a pruned network is a good network
Title（参考訳）: 価値に基づく深層強化学習において、刈り取られたネットワークは良いネットワークである
Authors: Johan Obando-Ceron, Aaron Courville, Pablo Samuel Castro,
Abstract要約: 段階的等級プルーニングにより,パラメータの有効性を最大化できることを示す。この結果、従来のネットワークよりも劇的なパフォーマンス向上をもたらすネットワークが生まれる。
参考スコア（独自算出の注目度）: 13.76250180047913
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work has shown that deep reinforcement learning agents have difficulty in effectively using their network parameters. We leverage prior insights into the advantages of sparse training techniques and demonstrate that gradual magnitude pruning enables value-based agents to maximize parameter effectiveness. This results in networks that yield dramatic performance improvements over traditional networks, using only a small fraction of the full network parameters.
Abstract（参考訳）: 近年の研究では、深層強化学習エージェントがネットワークパラメータを効果的に活用することが困難であることが示されている。我々は、スパーストレーニング技術の利点に関する事前の知見を活用し、段階的な等級決定により、価値に基づくエージェントがパラメータの有効性を最大化できることを実証する。これにより、ネットワークパラメータのごく一部しか使用せず、従来のネットワークよりも劇的なパフォーマンス向上が達成される。

関連論文リスト

Component-based Sketching for Deep ReLU Nets [55.404661149594375]
各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
論文参考訳（メタデータ） (2024-09-21T15:30:43Z)
Stimulative Training++: Go Beyond The Performance Limits of Residual Networks [91.5381301894899]
残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
論文参考訳（メタデータ） (2023-05-04T02:38:11Z)
DIPNet: Efficiency Distillation and Iterative Pruning for Image Super-Resolution [38.73287113121911]
本稿では,軽量ネットワークが優れた性能を達成できる,新しいマルチステージ軽量ネットワークブースティング手法を提案する。具体的には、軽量な学生ネットワークの学習能力を向上させるために、高度な高解像度出力を追加の監督として活用する。我々は、マルチアンカー蒸留とプログレッシブラーニングを組み合わせた効果的な軽量ネットワークトレーニング戦略を採用し、軽量ネットワークの優れた性能を実現する。
論文参考訳（メタデータ） (2023-04-14T09:23:21Z)
Influencer Detection with Dynamic Graph Neural Networks [56.1837101824783]
インフルエンサー検出のための動的グラフニューラルネットワーク(GNN)の構成について検討する。 GNNにおける深層多面的注意と時間特性の符号化が性能を著しく向上させることを示す。
論文参考訳（メタデータ） (2022-11-15T13:00:25Z)
Deepening Neural Networks Implicitly and Locally via Recurrent Attention Strategy [6.39424542887036]
リカレントアテンション戦略は、局所パラメータ共有により、軽量アテンションモジュールによるニューラルネットワークの深さを暗黙的に増加させる。広く使用されている3つのベンチマークデータセットの実験は、RASがパラメータサイズと計算をわずかに増やすことで、ニューラルネットワークのパフォーマンスを向上させることを実証している。
論文参考訳（メタデータ） (2022-10-27T13:09:02Z)
Understanding and Improvement of Adversarial Training for Network Embedding from an Optimization Perspective [31.312873512603808]
Network Embeddingは、ノードをユークリッド空間にマッピングする関数を学習することを目的としており、ネットワーク上の複数の学習分析タスクに寄与する。これらの問題に対処するために、研究者はAdvTNE(Adversarial Training for Network Embedding)を用いて最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-05-17T16:41:53Z)
Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文参考訳（メタデータ） (2021-01-31T22:48:50Z)
Channel Planting for Deep Neural Networks using Knowledge Distillation [3.0165431987188245]
我々は,植林と呼ばれる深層ニューラルネットワークのための新しいインクリメンタルトレーニングアルゴリズムを提案する。本システムでは,ネットワーク性能向上のためのパラメータの少ない最適ネットワークアーキテクチャを探索できる。 CIFAR-10/100 や STL-10 などの異なるデータセットに対する提案手法の有効性を評価する。
論文参考訳（メタデータ） (2020-11-04T16:29:59Z)
Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
論文参考訳（メタデータ） (2020-10-27T17:55:16Z)
Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training [56.82000424924979]
入力サンプルに条件付きでネットワークを適応させる条件正規化モジュールを提案する。適応的ネットワークは、一度逆さまに訓練された場合、クリーンな検証精度と堅牢性の両方において、適応的でないネットワークよりも優れています。
論文参考訳（メタデータ） (2020-05-30T23:23:56Z)
Differentiable Sparsification for Deep Neural Networks [0.0]
本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
論文参考訳（メタデータ） (2019-10-08T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。