論文の概要: Adaptive Rational Activations to Boost Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2102.09407v4
- Date: Mon, 4 Mar 2024 15:22:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 04:39:13.902936
- Title: Adaptive Rational Activations to Boost Deep Reinforcement Learning
- Title(参考訳): 深層強化学習を促進する適応的合理的アクティベーション
- Authors: Quentin Delfosse, Patrick Schramowski, Martin Mundt, Alejandro Molina
and Kristian Kersting
- Abstract要約: 我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。
人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
- 参考スコア(独自算出の注目度): 72.16798866331152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latest insights from biology show that intelligence not only emerges from the
connections between neurons but that individual neurons shoulder more
computational responsibility than previously anticipated. This perspective
should be critical in the context of constantly changing distinct reinforcement
learning environments, yet current approaches still primarily employ static
activation functions. In this work, we motivate why rationals are suitable for
adaptable activation functions and why their inclusion into neural networks is
crucial. Inspired by recurrence in residual networks, we derive a condition
under which rational units are closed under residual connections and formulate
a naturally regularised version: the recurrent-rational. We demonstrate that
equipping popular algorithms with (recurrent-)rational activations leads to
consistent improvements on Atari games, especially turning simple DQN into a
solid approach, competitive to DDQN and Rainbow.
- Abstract(参考訳): 生物学の最近の知見は、知性はニューロン間の接続から生じるだけでなく、個々のニューロンが以前予想されていたよりも計算責任を担っていることを示している。
この観点は、異なる強化学習環境を常に変化させる状況において重要であるが、現在のアプローチでは、主に静的アクティベーション関数を使用している。
本研究では,適応型アクティベーション関数に合理性が適している理由と,それらのニューラルネットワークへの包含が重要である理由について述べる。
残差ネットワークの繰り返しに着想を得て、有理単位が残差接続の下で閉じている条件を導出し、自然な正則化(recurrent-rational)を定式化する。
我々は,Atariゲームにおいて,(繰り返しの)アクティベーションを伴う人気アルゴリズムの装備が一貫した改善をもたらし,特に単純なDQNをDDQNやRainbowと競合する固いアプローチに変換することを実証した。
関連論文リスト
- Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳(メタデータ) (2024-01-09T07:31:34Z) - Fast gradient-free activation maximization for neurons in spiking neural
networks [6.228340781801083]
このようなループを効果的に設計したフレームワークを,人工スパイクニューラルネットワーク(SNN)でテストし,実験に成功した。
本手法は, アクティベーション関数の領域における離散化の低ランクテンソル分解(テンソルトレイン, TT)に基づいて最適化した。
我々の知る限り、本研究はSNNに効果的なAMを実現するための最初の試みである。
論文 参考訳(メタデータ) (2023-12-28T18:30:13Z) - Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文 参考訳(メタデータ) (2023-10-05T21:44:18Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳(メタデータ) (2023-08-09T11:09:14Z) - Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。
ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。
本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
論文 参考訳(メタデータ) (2023-01-17T20:52:48Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。
本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
論文 参考訳(メタデータ) (2021-12-23T17:04:12Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - Rational neural networks [3.4376560669160394]
我々は合理的な活性化機能を持つニューラルネットワークを考える。
有理ニューラルネットワークが指数関数的に小さいReLUネットワークよりもスムーズな関数を効率的に近似していることを証明する。
論文 参考訳(メタデータ) (2020-04-04T10:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。