論文の概要: Measure gradients, not activations! Enhancing neuronal activity in deep reinforcement learning

• arxiv url: http://arxiv.org/abs/2505.24061v1
• Date: Thu, 29 May 2025 23:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.696052
• Title: Measure gradients, not activations! Enhancing neuronal activity in deep reinforcement learning
• Title（参考訳）: 活性化ではなく勾配を測る! 深部強化学習における神経活動の促進
• Authors: Jiashun Liu, Zihao Wu, Johan Obando-Ceron, Pablo Samuel Castro, Aaron Courville, Ling Pan,
• Abstract要約: 深部強化学習 (Deep reinforcement learning, RL) は、しばしば神経活動の喪失に悩まされる。 GraMa(Gradient Magnitude Neural Activity Metric)は、ニューロンレベルの学習能力を定量化するメトリクスである。 GraMaは多種多様なアーキテクチャで持続的なニューロン不活性を効果的に明らかにする。
• 参考スコア（独自算出の注目度）: 25.277730616459255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep reinforcement learning (RL) agents frequently suffer from neuronal activity loss, which impairs their ability to adapt to new data and learn continually. A common method to quantify and address this issue is the tau-dormant neuron ratio, which uses activation statistics to measure the expressive ability of neurons. While effective for simple MLP-based agents, this approach loses statistical power in more complex architectures. To address this, we argue that in advanced RL agents, maintaining a neuron's learning capacity, its ability to adapt via gradient updates, is more critical than preserving its expressive ability. Based on this insight, we shift the statistical objective from activations to gradients, and introduce GraMa (Gradient Magnitude Neural Activity Metric), a lightweight, architecture-agnostic metric for quantifying neuron-level learning capacity. We show that GraMa effectively reveals persistent neuron inactivity across diverse architectures, including residual networks, diffusion models, and agents with varied activation functions. Moreover, resetting neurons guided by GraMa (ReGraMa) consistently improves learning performance across multiple deep RL algorithms and benchmarks, such as MuJoCo and the DeepMind Control Suite.
• Abstract（参考訳）: 深部強化学習(英語版) (RL) エージェントは、しばしば神経活動の喪失に悩まされ、新しいデータに適応し、継続的に学習する能力を損なう。 この問題を定量化し対処する一般的な方法は、活性化統計を用いてニューロンの表現能力を測定するタウ・ドルマントニューロン比である。 単純なMLPベースのエージェントでは有効であるが、より複雑なアーキテクチャでは統計的パワーを失う。 これを解決するために、先進的なRLエージェントでは、ニューロンの学習能力を維持し、勾配更新によって適応する能力は、表現力を維持することよりも重要であると論じる。 この知見に基づいて, 統計的目的を活性化から勾配へシフトさせ, ニューロンレベルの学習能力の定量化のための軽量でアーキテクチャに依存しない指標であるGraMa(Gradient Magnitude Neural Activity Metric)を導入する。 また,GraMaは,残差ネットワーク,拡散モデル,活性化関数の異なるエージェントなど,様々なアーキテクチャにおいて,永続的なニューロン不活性を効果的に明らかにすることを示した。 さらに、GraMa(ReGraMa)でガイドされたリセットニューロンは、MuJoCoやDeepMind Control Suiteなど、複数のディープRLアルゴリズムとベンチマークにわたる学習性能を一貫して改善する。

関連論文リスト

• Neuron Empirical Gradient: Discovering and Quantifying Neurons Global Linear Controllability [14.693407823048478]
  本研究はまず,ニューロン活性化とモデル出力の数値的関係について検討する。 ニューロン実験勾配(NEG)の正確かつ効率的な計算法であるNeurGradを導入する。
  論文  参考訳（メタデータ） (2024-12-24T00:01:24Z)
• Growing Deep Neural Network Considering with Similarity between Neurons [4.32776344138537]
  我々は、訓練段階におけるコンパクトモデルにおいて、ニューロン数を漸進的に増加させる新しいアプローチを探求する。 本稿では,ニューロン類似性分布に基づく制約を導入することにより,特徴抽出バイアスと神経冗長性を低減する手法を提案する。 CIFAR-10とCIFAR-100データセットの結果、精度が向上した。
  論文  参考訳（メタデータ） (2024-08-23T11:16:37Z)
• Hadamard Representations: Augmenting Hyperbolic Tangents in RL [8.647614188619315]
  活性化関数は、ディープニューラルネットワークの重要なコンポーネントの1つである。 強化学習では、連続的な微分可能なアクティベーションの性能は、分数次線形関数と比較して低下することが多い。 RLの致死性ニューロン問題はReLUに限った問題ではなく、Tanhのような連続的な分化可能なアクティベーションの場合にさらに問題を引き起こすことが示される。
  論文  参考訳（メタデータ） (2024-06-13T13:03:37Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Modeling cognitive load as a self-supervised brain rate with electroencephalography and deep learning [2.741266294612776]
  本研究では,脳波データからメンタルワークロードをモデリングするための,新たな自己教師型手法を提案する。 脳波データからスペクトル地形図を空間的に保存して脳速度変数に適合させることができる畳み込みリカレントニューラルネットワークである。 学習した認知活性化の準安定なブロックの存在は、それらは畳み込みによって誘導され、時間とともに互いに依存していないように見えるため、脳反応の非定常的性質と直感的に一致している。
  論文  参考訳（メタデータ） (2022-09-21T07:44:21Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。