論文の概要: How Do You Act? An Empirical Study to Understand Behavior of Deep
Reinforcement Learning Agents
- arxiv url: http://arxiv.org/abs/2004.03237v1
- Date: Tue, 7 Apr 2020 10:08:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 22:28:01.634923
- Title: How Do You Act? An Empirical Study to Understand Behavior of Deep
Reinforcement Learning Agents
- Title（参考訳）: どのように行動するか?
深層強化学習エージェントの挙動理解のための実験的検討
- Authors: Richard Meyes, Moritz Schneider, Tobias Meisen
- Abstract要約: 深層強化学習エージェントの意思決定プロセスの透明性向上への需要はこれまで以上に大きい。
本研究では,エージェントのポリシーネットワークの活性化空間を通じて学習した表現を特徴付ける。
本研究は,ネットワークの層活性化と実行動作の相関パターンを特徴とする健康エージェントの挙動を示す。
- 参考スコア（独自算出の注目度）: 2.3268634502937937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The demand for more transparency of decision-making processes of deep
reinforcement learning agents is greater than ever, due to their increased use
in safety critical and ethically challenging domains such as autonomous
driving. In this empirical study, we address this lack of transparency
following an idea that is inspired by research in the field of neuroscience. We
characterize the learned representations of an agent's policy network through
its activation space and perform partial network ablations to compare the
representations of the healthy and the intentionally damaged networks. We show
that the healthy agent's behavior is characterized by a distinct correlation
pattern between the network's layer activation and the performed actions during
an episode and that network ablations, which cause a strong change of this
pattern, lead to the agent failing its trained control task. Furthermore, the
learned representation of the healthy agent is characterized by a distinct
pattern in its activation space reflecting its different behavioral stages
during an episode, which again, when distorted by network ablations, leads to
the agent failing its trained control task. Concludingly, we argue in favor of
a new perspective on artificial neural networks as objects of empirical
investigations, just as biological neural systems in neuroscientific studies,
paving the way towards a new standard of scientific falsifiability with respect
to research on transparency and interpretability of artificial neural networks.
- Abstract（参考訳）: 深層強化学習エージェントの意思決定プロセスの透明性向上の要求は、自律運転のような安全性に批判的かつ倫理的に困難な領域での使用の増加により、これまで以上に大きい。
この経験的研究では、神経科学の分野の研究に触発されたアイデアの後に、この透明性の欠如に対処する。
エージェントのポリシーネットワークの学習表現をアクティベーション空間を通じて特徴付け、部分的なネットワークアブレーションを行い、健康なネットワークと故意に損傷したネットワークの表現を比較する。
本研究は,ネットワークの活性化動作とエピソード中の実行動作との明確な相関パターンと,このパターンの強い変化を引き起こすネットワークアブレーションにより,エージェントが訓練された制御タスクを怠ったことを特徴とする。
さらに、当該健康剤の学習された表現は、エピソード中に異なる行動段階を反映した活性化空間の異なるパターンによって特徴づけられ、また、ネットワークアブレーションによって歪んだ場合、その訓練された制御タスクが失敗する。
結論として,我々は,神経科学的研究における生物学的ニューラルネットワークと同様に,経験的調査の対象としてのニューラルネットワークに対する新たな視点を支持し,人工知能の透明性と解釈可能性の研究に関して,科学的偽造可能性の新しい標準への道を開いた。
関連論文リスト
- Evolving Neural Networks Reveal Emergent Collective Behavior from Minimal Agent Interactions [0.0]
ニューラルネットワークが動的環境におけるエージェントの行動を制御するためにどのように進化するかを検討する。
レーン形成や層流のような単純な挙動は、より線形なネットワーク操作によって特徴づけられる。
中程度のノイズ、広い視野、低いエージェント密度といった特定の環境パラメータは、非線形ネットワークの進化を促進する。
論文 参考訳（メタデータ） (2024-10-25T17:43:00Z) - Identifying Sub-networks in Neural Networks via Functionally Similar Representations [41.028797971427124]
我々は、異なるサブネットワークの存在を調査し、ネットワークの理解を自動化するための一歩を踏み出した。
我々のアプローチは、人間と計算コストを最小限に抑えたニューラルネットワークの振る舞いに関する有意義な洞察を提供する。
論文 参考訳（メタデータ） (2024-10-21T20:19:00Z) - A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
逆の例では、機械学習モデルを操作して誤った予測を行うことができます。
敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。
本研究は, 対角移動可能性の展望を考察した。
論文 参考訳（メタデータ） (2023-10-26T17:45:26Z) - Investigating Human-Identifiable Features Hidden in Adversarial
Perturbations [54.39726653562144]
我々の研究では、最大5つの攻撃アルゴリズムを3つのデータセットにわたって探索する。
対人摂動における人間の識別可能な特徴を同定する。
画素レベルのアノテーションを用いて、そのような特徴を抽出し、ターゲットモデルに妥協する能力を実証する。
論文 参考訳（メタデータ） (2023-09-28T22:31:29Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Abrupt and spontaneous strategy switches emerge in simple regularised
neural networks [8.737068885923348]
単純な人工ニューラルネットワークにおいて、洞察的な振る舞いが生じるかどうかを考察する。
ネットワークアーキテクチャと学習力学の分析により、洞察的な振る舞いは規則化されたゲーティング機構に大きく依存していることが判明した。
このことは、単純なニューラルネットワークにおける漸進的な学習から、洞察のような振る舞いが自然に生じることを示唆している。
論文 参考訳（メタデータ） (2023-02-22T12:48:45Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳（メタデータ） (2022-05-30T18:04:57Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳（メタデータ） (2021-07-10T19:02:27Z) - Training spiking neural networks using reinforcement learning [0.0]
本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。
本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。
我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
論文 参考訳（メタデータ） (2020-05-12T17:40:36Z) - Under the Hood of Neural Networks: Characterizing Learned
Representations by Functional Neuron Populations and Network Ablations [0.3441021278275805]
学習課題を遂行するネットワーク内の単一ニューロンとニューロン群の役割について、光を当てた。
ニューロンの大きさやアクティベーションの選択性、ネットワーク性能への影響は、スタンドアローンの指標として十分ではないことが分かりました。
論文 参考訳（メタデータ） (2020-04-02T20:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。