論文の概要: Interpretable Concept Bottlenecks to Align Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2401.05821v1
• Date: Thu, 11 Jan 2024 10:38:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 15:17:00.761207
• Title: Interpretable Concept Bottlenecks to Align Reinforcement Learning Agents
• Title（参考訳）: 適応型強化学習エージェントに対する解釈可能な概念ボトルネック
• Authors: Quentin Delfosse, Sebastian Sztwiertnia, Wolfgang Stammer, Mark Rothermel, Kristian Kersting
• Abstract要約: 我々はSCoBots(Successive Concept Bottlenecks Agents)を紹介する。 SCoBotsは、連続したコンセプトボトルネックレイヤの統合を通じて、決定パイプライン全体を透過的にします。 このようにして、SCoBotsは、最もシンプルで象徴的なビデオゲームであるPongで、不一致の問題を特定し、それを解決します。
• 参考スコア（独自算出の注目度）: 22.512380611375846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward sparsity, difficult credit assignment, and misalignment are only a few of the many issues that make it difficult, if not impossible, for deep reinforcement learning (RL) agents to learn optimal policies. Unfortunately, the black-box nature of deep networks impedes the inclusion of domain experts who could interpret the model and correct wrong behavior. To this end, we introduce Successive Concept Bottlenecks Agents (SCoBots), which make the whole decision pipeline transparent via the integration of consecutive concept bottleneck layers. SCoBots make use of not only relevant object properties but also of relational concepts. Our experimental results provide strong evidence that SCoBots allow domain experts to efficiently understand and regularize their behavior, resulting in potentially better human-aligned RL. In this way, SCoBots enabled us to identify a misalignment problem in the most simple and iconic video game, Pong, and resolve it.
• Abstract（参考訳）: 深層強化学習(RL)エージェントが最適な政策を学ぶのが難しくても不可能ではない多くの問題のうち、疎外性、困難な信用割当、不正調整はごくわずかである。 残念ながら、ディープネットワークのブラックボックスの性質は、モデルを解釈し、間違った振る舞いを正すことのできるドメインエキスパートの受け入れを妨げる。 この目的のために,概念ボトルネック層を連続的に統合することで意思決定パイプライン全体を透明化する,連続する概念ボトルネックエージェント(scobots)を導入する。 SCoBotsは関連するオブジェクトプロパティだけでなくリレーショナル概念も利用しています。 我々の実験結果から、SCoBotsはドメインの専門家が自分たちの振る舞いを効率的に理解し、規則化できるという強い証拠を提供する。 このようにして、SCoBotsは、最もシンプルで象徴的なビデオゲーム、Pongの不正調整問題を特定し、それを解決します。

関連論文リスト

• Interpretable end-to-end Neurosymbolic Reinforcement Learning agents [20.034972354302788]
  この研究は、ニューラルネットワークの強みとシンボリックAIを融合した、ニューロシンボリックAIパラダイムの中に自分自身を置く。 本稿では,異なるAtariゲーム上で,各コンポーネントを個別に評価するエンドツーエンド学習型SCoBotの実装について述べる。
  論文  参考訳（メタデータ） (2024-10-18T10:59:13Z)
• Contrastive Sparse Autoencoders for Interpreting Planning of Chess-Playing Agents [0.0]
  本研究では,一対のゲームトラジェクトリを研究するために,CSAE(Sparse Autoencoder)を提案する。 CSAEを用いて,チェスエージェントの計画に意味のある概念を抽出し,解釈することができる。
  論文  参考訳（メタデータ） (2024-06-06T12:57:31Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning [69.19840497497503]
  一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。 本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。 我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
  論文  参考訳（メタデータ） (2023-09-04T09:09:54Z)
• Learning Bottleneck Concepts in Image Classification [24.624603699966094]
  Bottleneck Concept Learner (BotCL) は、目標タスクに対するトレーニングを通じて学んだ概念の存在/存在のみをイメージとして表現する。 BotCLは自己スーパービジョンと調整された正規化器を使用して、学習された概念を人間に理解できるようにする。
  論文  参考訳（メタデータ） (2023-04-20T07:32:05Z)
• Centralizing State-Values in Dueling Networks for Multi-Robot Reinforcement Learning Mapless Navigation [87.85646257351212]
  本稿では,CTDE(Training and Decentralized Execution)パラダイムにおけるマルチロボットマップレスナビゲーションの問題点について考察する。 この問題は、各ロボットが観察を他のロボットと明示的に共有することなく、その経路を考えると困難である。 我々は,集中型状態値ネットワークを用いて共同状態値を計算するCTDEの新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-16T16:47:00Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Room Clearance with Feudal Hierarchical Reinforcement Learning [2.867517731896504]
  本稿では,RL研究を軍事分析に有用な方向に進めるためのシナリオ構築ツールとして,新しいシミュレーション環境「it」を紹介した。 そこでは、青いエージェントのチームが建物を通り抜け、すべての部屋が敵のレッドエージェントから取り除かれるようにしなければなりません。 封建的階層型RLのマルチエージェント版を実装し、より上位の指揮官が命令を下級の複数のエージェントに送信するコマンド階層を導入する。 このような方法でタスクを壊すことで、私たちはそれを可能にすることに気付きました。
  論文  参考訳（メタデータ） (2021-05-24T15:05:58Z)
• Deep Policy Networks for NPC Behaviors that Adapt to Changing Design Parameters in Roguelike Games [137.86426963572214]
  例えばRoguelikesのようなターンベースの戦略ゲームは、Deep Reinforcement Learning(DRL)にユニークな課題を提示する。 複雑なカテゴリ状態空間をより適切に処理し、設計決定によって強制的に再訓練する必要性を緩和する2つのネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-12-07T08:47:25Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。