論文の概要: Interpretable Concept Bottlenecks to Align Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2401.05821v4
• Date: Mon, 28 Oct 2024 18:38:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:36:28.008296
• Title: Interpretable Concept Bottlenecks to Align Reinforcement Learning Agents
• Title（参考訳）: 適応型強化学習エージェントに対する解釈可能な概念ボトルネック
• Authors: Quentin Delfosse, Sebastian Sztwiertnia, Mark Rothermel, Wolfgang Stammer, Kristian Kersting,
• Abstract要約: Successive Concept Bottleneck Agents* (SCoBots)を紹介する。 SCoBotは、概念を個々のオブジェクトの特性として表現するだけでなく、多くのRLタスクに不可欠なオブジェクト間の関係としても表現する。 この結果は,SCoBotsの競争力を示すだけでなく,ドメインの専門家が自らの行動を理解し,規則化する可能性を示すものである。
• 参考スコア（独自算出の注目度）: 20.983795972812956
• License:
• Abstract: Goal misalignment, reward sparsity and difficult credit assignment are only a few of the many issues that make it difficult for deep reinforcement learning (RL) agents to learn optimal policies. Unfortunately, the black-box nature of deep neural networks impedes the inclusion of domain experts for inspecting the model and revising suboptimal policies. To this end, we introduce *Successive Concept Bottleneck Agents* (SCoBots), that integrate consecutive concept bottleneck (CB) layers. In contrast to current CB models, SCoBots do not just represent concepts as properties of individual objects, but also as relations between objects which is crucial for many RL tasks. Our experimental results provide evidence of SCoBots' competitive performances, but also of their potential for domain experts to understand and regularize their behavior. Among other things, SCoBots enabled us to identify a previously unknown misalignment problem in the iconic video game, Pong, and resolve it. Overall, SCoBots thus result in more human-aligned RL agents. Our code is available at https://github.com/k4ntz/SCoBots .
• Abstract（参考訳）: ゴールミスアライメント、報酬の相違、困難なクレジット割り当ては、深層強化学習(RL)エージェントが最適な政策を学ぶのを難しくする多くの問題のごく一部にすぎない。 残念なことに、ディープニューラルネットワークのブラックボックスの性質は、モデルを検査し、準最適ポリシーを改訂するためのドメインエキスパートの関与を妨げる。 この目的のために、連続的な概念ボトルネック(CB)層を統合する*Successive Concept Bottleneck Agents*(SCoBots)を紹介します。 現在のCBモデルとは対照的に、SCoBotは概念を個々のオブジェクトの特性として表現するだけでなく、多くのRLタスクに不可欠なオブジェクト間の関係として表現する。 我々の実験結果は、SCoBotsの競争性能を示すだけでなく、ドメインの専門家が彼らの行動を理解し、規則化する可能性を示す。 とりわけ、SCoBotsは、象徴的なビデオゲームPongでこれまで知られていなかった誤認識の問題を識別し、解決できるようにしました。 全体として、SCoBotsはより人間らしいRLエージェントをもたらす。 私たちのコードはhttps://github.com/k4ntz/SCoBotsで利用可能です。

関連論文リスト

• Interpretable end-to-end Neurosymbolic Reinforcement Learning agents [20.034972354302788]
  この研究は、ニューラルネットワークの強みとシンボリックAIを融合した、ニューロシンボリックAIパラダイムの中に自分自身を置く。 本稿では,異なるAtariゲーム上で,各コンポーネントを個別に評価するエンドツーエンド学習型SCoBotの実装について述べる。
  論文  参考訳（メタデータ） (2024-10-18T10:59:13Z)
• Contrastive Sparse Autoencoders for Interpreting Planning of Chess-Playing Agents [0.0]
  本研究では,一対のゲームトラジェクトリを研究するために,CSAE(Sparse Autoencoder)を提案する。 CSAEを用いて,チェスエージェントの計画に意味のある概念を抽出し,解釈することができる。
  論文  参考訳（メタデータ） (2024-06-06T12:57:31Z)
• Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning [69.19840497497503]
  一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。 本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。 我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
  論文  参考訳（メタデータ） (2023-09-04T09:09:54Z)
• Learning Bottleneck Concepts in Image Classification [24.624603699966094]
  Bottleneck Concept Learner (BotCL) は、目標タスクに対するトレーニングを通じて学んだ概念の存在/存在のみをイメージとして表現する。 BotCLは自己スーパービジョンと調整された正規化器を使用して、学習された概念を人間に理解できるようにする。
  論文  参考訳（メタデータ） (2023-04-20T07:32:05Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Centralizing State-Values in Dueling Networks for Multi-Robot Reinforcement Learning Mapless Navigation [87.85646257351212]
  本稿では,CTDE(Training and Decentralized Execution)パラダイムにおけるマルチロボットマップレスナビゲーションの問題点について考察する。 この問題は、各ロボットが観察を他のロボットと明示的に共有することなく、その経路を考えると困難である。 我々は,集中型状態値ネットワークを用いて共同状態値を計算するCTDEの新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-16T16:47:00Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Room Clearance with Feudal Hierarchical Reinforcement Learning [2.867517731896504]
  本稿では,RL研究を軍事分析に有用な方向に進めるためのシナリオ構築ツールとして,新しいシミュレーション環境「it」を紹介した。 そこでは、青いエージェントのチームが建物を通り抜け、すべての部屋が敵のレッドエージェントから取り除かれるようにしなければなりません。 封建的階層型RLのマルチエージェント版を実装し、より上位の指揮官が命令を下級の複数のエージェントに送信するコマンド階層を導入する。 このような方法でタスクを壊すことで、私たちはそれを可能にすることに気付きました。
  論文  参考訳（メタデータ） (2021-05-24T15:05:58Z)
• Deep Policy Networks for NPC Behaviors that Adapt to Changing Design Parameters in Roguelike Games [137.86426963572214]
  例えばRoguelikesのようなターンベースの戦略ゲームは、Deep Reinforcement Learning(DRL)にユニークな課題を提示する。 複雑なカテゴリ状態空間をより適切に処理し、設計決定によって強制的に再訓練する必要性を緩和する2つのネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-12-07T08:47:25Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。