論文の概要: BXRL: Behavior-Explainable Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2603.23738v1
- Date: Tue, 24 Mar 2026 21:48:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 21:06:11.032657
- Title: BXRL: Behavior-Explainable Reinforcement Learning
- Title（参考訳）: BXRL:行動記述型強化学習
- Authors: Ram Rachum, Yotam Amitai, Yonatan Nakar, Reuth Mirsky, Cameron Allen,
- Abstract要約: 本稿では,行動記述型強化学習(BXRL)を提案する。
BXRL は振舞いの指標を任意の関数 $m : to mathbbR$ と定義し、ユーザが興味を持つアクションのパターンを正確に表現できるようにする。
我々は、ビヘイビアを定義し、測定し、差別化するためのインターフェースを提供する、HawayEnv駆動環境をJAXにポートします。
- 参考スコア（独自算出の注目度）: 8.58480571859241
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A major challenge of Reinforcement Learning is that agents often learn undesired behaviors that seem to defy the reward structure they were given. Explainable Reinforcement Learning (XRL) methods can answer queries such as "explain this specific action", "explain this specific trajectory", and "explain the entire policy". However, XRL lacks a formal definition for behavior as a pattern of actions across many episodes. We provide such a definition, and use it to enable a new query: "Explain this behavior". We present Behavior-Explainable Reinforcement Learning (BXRL), a new problem formulation that treats behaviors as first-class objects. BXRL defines a behavior measure as any function $m : Π\to \mathbb{R}$, allowing users to precisely express the pattern of actions that they find interesting and measure how strongly the policy exhibits it. We define contrastive behaviors that reduce the question "why does the agent prefer $a$ to $a'$?" to "why is $m(π)$ high?" which can be explored with differentiation. We do not implement an explainability method; we instead analyze three existing methods and propose how they could be adapted to explain behavior. We present a port of the HighwayEnv driving environment to JAX, which provides an interface for defining, measuring, and differentiating behaviors with respect to the model parameters.
- Abstract（参考訳）: 強化学習の大きな課題は、エージェントが与えられた報酬構造に反するように見える望ましくない行動を学ぶことだ。
説明可能な強化学習(XRL)メソッドは、"この特定のアクションを説明する"、"この特定の軌道を説明する"、"ポリシー全体を説明する"といったクエリに答えることができる。
しかしながら、XRLは多くのエピソードにまたがる行動パターンとしての行動の形式的な定義が欠けている。
そのような定義を提供し、新しいクエリを可能にするためにそれを使用します。
本稿では,行動記述型強化学習(BXRL)を提案する。
BXRL は振舞い測度を任意の関数 $m : ...\to \mathbb{R}$ と定義し、ユーザが興味を持つアクションのパターンを正確に表現し、ポリシーがそれをどれだけ強く示すかを測定する。
我々は「なぜエージェントは$a$ to $a'$?」という質問を減らし、「なぜ$m(π)$ high?
既存の3つのメソッドを解析し、その動作を説明する方法を提案する。
我々は、モデルパラメータに関する振る舞いを定義し、測定し、差別化するためのインターフェースを提供する、HawayEnv駆動環境をJAXに移植する。
関連論文リスト
- Behaviour Discovery and Attribution for Explainable Reinforcement Learning [6.123880364445758]
強化学習(RL)エージェントへの信頼を構築するには、なぜ特定の決定を下すのかを理解する必要がある。
既存の説明可能性の手法は、しばしば単一状態または全軌道に焦点をあてる。
動作発見とセグメンテーションのための完全にオフラインで報酬のないフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-19T08:06:00Z) - Swarm Behavior Cloning [4.9854403800887415]
シーケンシャルな意思決定環境では、トレーニングエージェントの主要なアプローチは強化学習(RL)と模倣学習(IL)である。
本稿は、トレーニングデータに不足している状態において、N$の予測されたアクション間の相違が増加するという、アクションの違いの増加の問題に対処する。
計算の多様性を保ちつつポリシー間の整合性を高める手法を提案する。
論文 参考訳（メタデータ） (2024-12-10T15:54:57Z) - Partial Identifiability and Misspecification in Inverse Reinforcement Learning [64.13583792391783]
Inverse Reinforcement Learning の目的は、報酬関数 $R$ をポリシー $pi$ から推論することである。
本稿では,IRLにおける部分的識別性と不特定性について包括的に分析する。
論文 参考訳（メタデータ） (2024-11-24T18:35:46Z) - Quantifying the Sensitivity of Inverse Reinforcement Learning to
Misspecification [72.08225446179783]
逆強化学習は、エージェントの行動からエージェントの好みを推測することを目的としている。
これを行うには、$pi$が$R$とどのように関係しているかの振る舞いモデルが必要です。
我々は、IRL問題が行動モデルの不特定性にどれほど敏感であるかを分析する。
論文 参考訳（メタデータ） (2024-03-11T16:09:39Z) - Inverse Decision Modeling: Learning Interpretable Representations of
Behavior [72.80902932543474]
我々は,逆決定モデルに関する表現的,統一的な視点を開拓する。
これを逆問題(記述モデルとして)の形式化に用います。
この構造が(有界な)有理性の学習(解釈可能な)表現を可能にする方法について説明する。
論文 参考訳（メタデータ） (2023-10-28T05:05:01Z) - Misspecification in Inverse Reinforcement Learning [80.91536434292328]
逆強化学習(IRL)の目的は、ポリシー$pi$から報酬関数$R$を推論することである。
IRLの背後にある主要な動機の1つは、人間の行動から人間の嗜好を推測することである。
これは、それらが誤って特定され、現実世界のデータに適用された場合、不適切な推測につながる恐れが生じることを意味する。
論文 参考訳（メタデータ） (2022-12-06T18:21:47Z) - Explainable Reinforcement Learning via Model Transforms [18.385505289067023]
基礎となるマルコフ決定プロセスが完全には分かっていないとしても、それにもかかわらず、自動的に説明を生成するために利用することができる、と我々は主張する。
本稿では,従来の文献で最適ポリシー探索の高速化に用いられていた形式的MDP抽象化と変換を用いて,説明を自動的に生成することを提案する。
論文 参考訳（メタデータ） (2022-09-24T13:18:06Z) - Learning to Scaffold: Optimizing Model Explanations for Teaching [74.25464914078826]
我々は3つの自然言語処理とコンピュータビジョンタスクのモデルを訓練する。
筆者らは,本フレームワークで抽出した説明文を学習した学生が,従来の手法よりもはるかに効果的に教師をシミュレートできることを発見した。
論文 参考訳（メタデータ） (2022-04-22T16:43:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。