論文の概要: Selecting Decision-Relevant Concepts in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.04808v1
• Date: Mon, 06 Apr 2026 16:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.274004
• Title: Selecting Decision-Relevant Concepts in Reinforcement Learning
• Title（参考訳）: 強化学習における決定関連概念の選択
• Authors: Naveen Raman, Stephanie Milani, Fei Fang,
• Abstract要約: 解釈可能な概念に基づくポリシーのトレーニングでは、エージェントがシーケンシャルな決定を行う際に、手動でヒューマン理解可能な概念を選択する必要がある。 この選択にはドメインの専門知識が必要で、時間と費用がかかり、候補数に乏しく、パフォーマンス保証は提供されない。 逐次的意思決定における原理的自動概念選択のための最初のアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 11.811571265392294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training interpretable concept-based policies requires practitioners to manually select which human-understandable concepts an agent should reason with when making sequential decisions. This selection demands domain expertise, is time-consuming and costly, scales poorly with the number of candidates, and provides no performance guarantees. To overcome this limitation, we propose the first algorithms for principled automatic concept selection in sequential decision-making. Our key insight is that concept selection can be viewed through the lens of state abstraction: intuitively, a concept is decision-relevant if removing it would cause the agent to confuse states that require different actions. As a result, agents should rely on decision-relevant concepts; states with the same concept representation should share the same optimal action, which preserves the optimal decision structure of the original state space. This perspective leads to the Decision-Relevant Selection (DRS) algorithm, which selects a subset of concepts from a candidate set, along with performance bounds relating the selected concepts to the performance of the resulting policy. Empirically, DRS automatically recovers manually curated concept sets while matching or exceeding their performance, and improves the effectiveness of test-time concept interventions across reinforcement learning benchmarks and real-world healthcare environments.
• Abstract（参考訳）: 解釈可能な概念に基づくポリシーのトレーニングでは、エージェントがシーケンシャルな決定を行う際に、手動でヒューマン理解可能な概念を選択する必要がある。 この選択にはドメインの専門知識が必要で、時間と費用がかかり、候補数に乏しく、パフォーマンス保証は提供されない。 この制限を克服するために、シーケンシャルな意思決定において、原理化された自動概念選択のための最初のアルゴリズムを提案する。 私たちの重要な洞察は、概念選択は状態抽象化のレンズを通して見ることができるということです。直感的には、その概念が取り除かれると、エージェントは異なるアクションを必要とする状態を混乱させます。 その結果、エージェントは決定関連概念に依存し、同じ概念表現を持つ状態は同じ最適な行動を共有し、元の状態空間の最適決定構造を保持するべきである。 この観点から、決定関連選択(DRS)アルゴリズムは、候補集合から概念のサブセットを選択し、選択された概念と結果のポリシーのパフォーマンスに関する性能境界を導く。 実証的には、DSSは手動でキュレートされたコンセプトセットを自動で復元し、強化学習ベンチマークや現実世界の医療環境におけるテストタイムの概念介入の有効性を改善します。

関連論文リスト

• Enhancing Interpretable Image Classification Through LLM Agents and Conditional Concept Bottleneck Models [15.97013792698305]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、画像分類を解釈可能で人間可読な概念によって管理されるプロセスに分解する。 環境フィードバックに応答してコンセプトバンクを調整する動的エージェントベースのアプローチを導入する。 また,従来のCBMの概念スコアリング機構の限界を克服するために,条件付き概念ボトルネックモデル(CoCoBM)を提案する。
  論文  参考訳（メタデータ） (2025-06-02T05:25:52Z)
• Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。 既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。 本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:01Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• Explainability's Gain is Optimality's Loss? -- How Explanations Bias Decision-making [0.0]
  説明は、アルゴリズムと人間の意思決定者とのコミュニケーションを促進するのに役立つ。 因果モデルに関する特徴に基づく説明のセマンティクスは、意思決定者の以前の信念から漏れを引き起こす。 このような違いは、準最適かつ偏った決定結果をもたらす可能性がある。
  論文  参考訳（メタデータ） (2022-06-17T11:43:42Z)
• A Justice-Based Framework for the Analysis of Algorithmic Fairness-Utility Trade-Offs [0.0]
  予測に基づく意思決定システムでは、異なる視点が異なってくる可能性がある。 意思決定者の短期的なビジネス目標はしばしば、意思決定対象が公平に扱われたいという願望と矛盾している。 本稿では,これらの価値を優先した選択を明確化するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-06T20:31:55Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Modularity in Reinforcement Learning via Algorithmic Independence in Credit Assignment [79.5678820246642]
  提案手法は, 事前決定の順序に対して, スパース変化のみを必要とする伝達問題に対して, 政策段階の手法よりも, より標本効率が高いことを示す。 我々は最近提案された社会的意思決定の枠組みをマルコフ決定プロセスよりもよりきめ細かい形式主義として一般化する。
  論文  参考訳（メタデータ） (2021-06-28T21:29:13Z)
• Conceptualising Contestability: Perspectives on Contesting Algorithmic Decisions [18.155121103400333]
  オーストラリアが提案するAI倫理枠組みに反応して提出を行った人々や組織の視点を記述し分析する。」 以上の結果から, 競争性の性質は議論されているものの, 個人を保護する方法と見なされ, 人間の意思決定と競合性に類似していることが判明した。
  論文  参考訳（メタデータ） (2021-02-23T05:13:18Z)
• Inverse Active Sensing: Modeling and Understanding Timely Decision-Making [111.07204912245841]
  我々は,内因性,文脈依存型時間圧下でのエビデンスに基づく意思決定の一般的な設定のための枠組みを開発する。 意思決定戦略において、サプライズ、サスペンス、最適性の直感的な概念をモデル化する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-25T02:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。