論文の概要: Command-Space Counterfactual Explanations for Pareto-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.14963v1
• Date: Sat, 15 Aug 2026 01:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.137499
• Title: Command-Space Counterfactual Explanations for Pareto-Conditioned Reinforcement Learning
• Title（参考訳）: Pareto-Conditioned Reinforcement Learningのためのコマンド空間対実的説明法
• Abstract要約: そこで本研究では,PCNに対するコマンド空間の対実的説明を提案する。 まず、PCNの説明をリターンコマンドの介入として定式化する。 第2に、強化学習の説明に敵対的機械学習手法を適用する。
• 参考スコア（独自算出の注目度）: 2.072415514626526
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pareto Conditioned Networks learn multiple multi-objective reinforcement learning behaviours by conditioning a single policy on a desired return command. However, the local mapping from command and state to action remains opaque. We propose command-space counterfactual explanations for PCNs: given a fixed state, original command, and foil action, we search, in a black-box setting, for a minimally changed desired-return command under which the same trained policy would choose the foil. Our contributions are threefold. First, we formulate PCN explanations as return-command interventions, using a return-only PCN variant that avoids the added ambiguity of horizon-conditioning. Second, we adapt adversarial machine learning methods to reinforcement-learning explanations. Third, we introduce a boundary-seeded directional search that improves over purely local optimization in the command-action landscape, resulting in our proposed approach CF-ZOO. The resulting explanations are actionable and intuitively expressed in the user's own preferences: "If your trade-off had shifted slightly towards X, the agent would have chosen Y."
• Abstract（参考訳）: Pareto Conditioned Networksは、所望の戻りコマンドに1つのポリシーを条件付けることで、複数の目的の強化学習行動を学ぶ。 しかし、コマンドと状態からアクションへのローカルマッピングは依然として不透明である。 固定状態、元のコマンド、およびフォイルアクションが与えられた場合、我々はブラックボックス設定で、同じ訓練されたポリシーがホイルを選択する最小限の変更された所望のリターンコマンドを探索する。 私たちの貢献は3倍です。 まず,地平線条件の曖昧さを回避したリターンオンリーなPCN変種を用いて,PCNの説明をリターンコマンドの介入として定式化する。 第2に、強化学習の説明に敵対的機械学習手法を適用する。 第3に、コマンドアクションランドスケープにおける純粋に局所的な最適化よりも優れた境界シード指向探索を導入し、提案手法であるCF-ZOOを提案する。 結果として得られた説明は動作可能であり、ユーザー自身の好みで直感的に表現される:「あなたのトレードオフがXに向かってわずかに移行したなら、エージェントはYを選んだだろう」。

関連論文リスト

• OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents [74.20327254615854]
  大規模言語モデルエージェントは、シーケンシャルな意思決定タスクを解決するために、推論、行動選択、観察をインターリーブする。 LLMエージェントの既存の推論時間適応法は、主にプロンプトや検索に依存している。 提案するOLIVIAは,ReAct型エージェントのための推論時行動適応フレームワークである。
  論文  参考訳（メタデータ） (2026-05-11T19:28:20Z)
• Hierarchical Support Vector State Partitioning for Distilling Black Box Reinforcement Learning Policies [5.9334858973020355]
  我々は,ブラックボックス強化学習ポリシーを模倣する新しい手法であるSVSP(State Vector Space Partitioning)を紹介する。 我々の手法は、以前の批評家による状態分割の試みよりも平均戻り率を+7.4%向上させる。
  論文  参考訳（メタデータ） (2026-05-05T19:40:05Z)
• ASPECT:Analogical Semantic Policy Execution via Language Conditioned Transfer [10.492383929472734]
  強化学習(RL)エージェントはしばしば、知識を新しいタスクに一般化するのに苦労する。 本稿では,離散潜在変数を自然言語条件に置き換え,より一般化したアプローチを提案する。 提案手法は, 固定圏写像の限界を超えて, 複雑な, 真に新しい類似タスクの広い範囲にわたるゼロショット転送を実現する。
  論文  参考訳（メタデータ） (2026-04-09T15:21:05Z)
• ECLIPTICA - A Framework for Switchable LLM Alignment via CITA - Contrastive Instruction-Tuned Alignment [18.653643003491695]
  ECLIPTICAは、アライメントを命令駆動で実行時制御可能なものとして扱う。 安全要件、ユーザロール、ガバナンス制約の進化の下で、即時に振る舞いを調整します。 命令調整効率は86.7%に達し、DPO(56.1%)、GRPO(36.1%)、PPO(20.4%)を上回った。
  論文  参考訳（メタデータ） (2026-01-06T08:28:26Z)
• Policy-Conditioned Policies for Multi-Agent Task Solving [53.67744322553693]
  本研究では,ポリシーを人間の解釈可能なソースコードとして表現することでギャップを埋めるパラダイムシフトを提案する。 本研究では,Large Language Models (LLM) を近似インタプリタとして利用することにより,学習問題を再構築する。 我々はこのプロセスを,ポリシーコードをテキスト勾配で最適化するアルゴリズムである TextitProgrammatic Iterated Best Response (PIBR) として定式化する。
  論文  参考訳（メタデータ） (2025-12-24T07:42:10Z)
• Language Models Can Learn from Verbal Feedback Without Scalar Rewards [88.82702433508393]
  本稿では,言語フィードバックを条件付け信号として扱うことを提案する。 テキスト・画像生成における言語先行性に着想を得て,フィードバック条件ポリシーを導入する。
  論文  参考訳（メタデータ） (2025-09-26T17:58:27Z)
• Search-Based Credit Assignment for Offline Preference-Based Reinforcement Learning [83.64755389431971]
  本稿では,2つのフィードバックソースを統一する検索ベースPreference Weightingスキームを提案する。 選好ラベル付き軌道における各遷移について、SPWは専門家のデモンストレーションから最もよく似た状態-作用対を探索する。 これらの重みは標準の嗜好学習をガイドするために使われ、より正確なクレジット割り当てを可能にします。
  論文  参考訳（メタデータ） (2025-08-21T07:41:45Z)
• Sparse Autoencoders for Sequential Recommendation Models: Interpretation and Flexible Control [5.045834768309381]
  スパースオートエンコーダ(SAE)は言語モデルから解釈可能な特徴を抽出するための有望な教師なしアプローチであることが示されている。 本研究では,シーケンシャルなレコメンデーションタスクでトレーニングしたトランスフォーマーに対して,SAEをうまく適用可能であることを示す。 我々は,SAEが学習した特徴が,モデルの振る舞いを効果的かつ柔軟に制御するために利用できることを示した。
  論文  参考訳（メタデータ） (2025-07-16T12:57:43Z)
• Mitigating Suboptimality of Deterministic Policy Gradients in Complex Q-functions [11.572333300040619]
  本稿では,複数のアクション提案を生成し,最も高いQ値を選択するアクタアーキテクチャであるSAVOを紹介する。 我々は,制限された移動,器用な操作,大規模な離散行動空間レコメンダシステムなどのタスクを評価する。
  論文  参考訳（メタデータ） (2024-10-15T17:58:03Z)
• Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows [58.762959061522736]
  オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。 我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。 提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-11-20T21:57:10Z)
• ADAPT: Vision-Language Navigation with Modality-Aligned Action Prompts [92.92047324641622]
  視覚言語ナビゲーション(VLN)のためのmodAlity-aligneD Action PrompT(ADAPT)を提案する。 ADAPTは、アクションレベルのモダリティアライメントの明示的な学習を可能にするために、アクションプロンプトをVLNエージェントに提供する。 R2RとRxRの両方の実験結果は、最先端手法よりもADAPTの方が優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-31T02:41:31Z)
• Learn Dynamic-Aware State Embedding for Transfer Learning [0.8756822885568589]
  報酬機能以外のすべてのタスク(MDP)が同じ環境を動的に共有する設定を検討します。 この設定では、MDPのダイナミクスは、一様ランダムなポリシーによって推測できる、転送のよい知識である。 我々は、一様ランダムポリシーの必要性を避けるため、任意のポリシーの軌跡からバイナリMDPのダイナミクスを推定できることを観察する。
  論文  参考訳（メタデータ） (2021-01-06T19:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。