論文の概要: Induced Modularity and Community Detection for Functionally Interpretable Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2501.17077v1
• Date: Tue, 28 Jan 2025 17:02:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:42:22.892115
• Title: Induced Modularity and Community Detection for Functionally Interpretable Reinforcement Learning
• Title（参考訳）: 機能的解釈可能な強化学習のためのモジュール性とコミュニティ検出
• Authors: Anna Soligo, Pietro Ferraro, David Boyle,
• Abstract要約: 強化学習における解釈可能性は、AIシステムが人間の価値観と一致することを保証するために不可欠である。 強化学習エージェントの政策ネットワークにおいて,非局所重みのペナル化が機能的に独立なモジュールの出現につながることを示す。
• 参考スコア（独自算出の注目度）: 1.597617022056624
• License:
• Abstract: Interpretability in reinforcement learning is crucial for ensuring AI systems align with human values and fulfill the diverse related requirements including safety, robustness and fairness. Building on recent approaches to encouraging sparsity and locality in neural networks, we demonstrate how the penalisation of non-local weights leads to the emergence of functionally independent modules in the policy network of a reinforcement learning agent. To illustrate this, we demonstrate the emergence of two parallel modules for assessment of movement along the X and Y axes in a stochastic Minigrid environment. Through the novel application of community detection algorithms, we show how these modules can be automatically identified and their functional roles verified through direct intervention on the network weights prior to inference. This establishes a scalable framework for reinforcement learning interpretability through functional modularity, addressing challenges regarding the trade-off between completeness and cognitive tractability of reinforcement learning explanations.
• Abstract（参考訳）: 強化学習における解釈可能性は、AIシステムが人間の価値と一致し、安全性、堅牢性、公正性を含む様々な関連する要件を満たすために不可欠である。 ニューラルネットワークにおけるスパーシリティと局所性を奨励する最近のアプローチに基づいて、強化学習エージェントのポリシーネットワークにおいて、非局所的な重みのペナル化が機能的に独立したモジュールの出現にどのように寄与するかを実証する。 これを説明するために、確率的ミニグリッド環境におけるX軸とY軸に沿った運動を評価するための2つの並列モジュールの出現を実証した。 コミュニティ検出アルゴリズムの新たな応用を通して,これらのモジュールを自動的に識別し,その機能的役割を推論前のネットワーク重みへの直接的介入によって検証する方法を示す。 これは、機能的モジュラリティによる強化学習の解釈可能性のためのスケーラブルなフレームワークを確立し、強化学習説明の完全性と認知的トラクタビリティの間のトレードオフに関する課題に対処する。

関連論文リスト

• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• Training Neural Networks for Modularity aids Interpretability [0.6749750044497732]
  ネットワークの解釈可能性を改善するためのアプローチは、クラスタ可能性、すなわち独立して研究できる解離クラスタにモデルを分割することである。 事前学習されたモデルは非常にクラスタ化できないため、非相互作用クラスタの形成を促進するエンメシュメントロス関数を用いてモデルをよりモジュラーに訓練する。
  論文  参考訳（メタデータ） (2024-09-24T05:03:49Z)
• Safe Deep Model-Based Reinforcement Learning with Lyapunov Functions [2.50194939587674]
  本稿では,未知のダイナミクスを用いた効率的なポリシー学習を実現するためのモデルベースRLフレームワークを提案する。 本稿では,モデルベースRLのトレーニングおよび政策学習における安全性制約を付加する新しい手法を紹介し,検討する。
  論文  参考訳（メタデータ） (2024-05-25T11:21:12Z)
• Self-Supervised Interpretable End-to-End Learning via Latent Functional Modularity [2.163881720692685]
  MoNetは、自己教師付き、解釈可能なエンドツーエンド学習のための、機能的にモジュール化されたネットワークである。 現実世界の屋内環境では、MoNetは効果的な視覚自律ナビゲーションを示し、ベースラインモデルを7%から28%上回っている。
  論文  参考訳（メタデータ） (2024-02-21T15:17:20Z)
• Foundations of Reinforcement Learning and Interactive Decision Making [81.76863968810423]
  本稿では,頻度主義的アプローチとベイズ的アプローチを用いた探索・探索ジレンマに対処するための統一的な枠組みを提案する。 ニューラルネットワークのような近似とフレキシブルなモデルクラスを機能させるために特別な注意が払われる。
  論文  参考訳（メタデータ） (2023-12-27T21:58:45Z)
• Harmonizing Feature Attributions Across Deep Learning Architectures: Enhancing Interpretability and Consistency [2.2237337682863125]
  本研究では,様々なディープラーニングアーキテクチャにおける特徴属性の一般化について検討する。 私たちは、より一貫性があり楽観的な特徴属性の理解を深めることを目指しています。 本研究は,解釈可能性の向上と機械学習アプリケーションの信頼性向上を目的とした,調和した特徴帰属手法の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-07-05T09:46:41Z)
• Interpreting Neural Policies with Disentangled Tree Representations [58.769048492254555]
  本稿では,コンパクトなニューラルポリシーの解釈可能性について,不整合表現レンズを用いて検討する。 決定木を利用して,ロボット学習における絡み合いの要因を抽出する。 学習したニューラルダイナミクスの絡み合いを計測する解釈可能性指標を導入する。
  論文  参考訳（メタデータ） (2022-10-13T01:10:41Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Meta-learning using privileged information for dynamics [66.32254395574994]
  Neural ODE Processモデルを拡張して、Learning Using Privileged Information設定内の追加情報を使用します。 シミュレーション動的タスクの精度とキャリブレーションを向上した実験により拡張性を検証する。
  論文  参考訳（メタデータ） (2021-04-29T12:18:02Z)
• Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
  本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。 このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。 シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-27T13:17:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。