論文の概要: Robots That Know What to Ask: Recovering Misaligned Rewards through Targeted Explanations

• arxiv url: http://arxiv.org/abs/2605.22986v1
• Date: Thu, 21 May 2026 19:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.077607
• Title: Robots That Know What to Ask: Recovering Misaligned Rewards through Targeted Explanations
• Title（参考訳）: 質問するべきことを知るロボット: ターゲットを絞った説明を通じて、ミスアライズされたリワードを復元する
• Abstract要約: デモンストレーションから報酬関数を学ぶことは、デモがすべての機能に対して適切な監視を提供すると仮定する。 人間は認知的負荷や身体的困難のために、特定の特徴を過小評価することがある。 本稿では,そのような不特定特徴を検知し,対象とする修正デモを積極的に行うフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.9662978733004601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning reward functions from demonstrations assumes that demonstrations provide adequate supervision over all features -- or task-relevant aspects of behavior. In practice, demonstrations are often imperfect: humans may under-emphasize certain features due to cognitive load or physical difficulty, or the training regime may fail to sufficiently cover all relevant situations. In either case, important features may be underspecified, leading to ambiguity in the learned reward function and misaligned behavior at deployment. We propose a framework that detects such underspecified features and actively solicits targeted corrective demonstrations. Our key insight is that demonstrations implicitly reveal which features are well specified: features that are consistently optimized show little variation across demonstrations, while features that are underspecified vary widely. We leverage this statistical signal to infer which features may have been insufficiently demonstrated. The robot then explains which features it is uncertain about in natural language and queries for demonstrations that explicitly address the identified gaps. We evaluate our approach in a simulated tabletop manipulation domain and in a user study with a real Franka robot. Targeted, explanation-guided queries significantly improve reward recovery compared to random querying and passive data collection, reducing ambiguity that would otherwise persist in learning from imperfect demonstrations.
• Abstract（参考訳）: デモンストレーションから報酬関数を学ぶには、デモがすべての機能 -- あるいはタスク関連行動の側面 -- に対して適切な監視を提供すると仮定する。 人間は認知的負荷や身体的困難のために特定の特徴を過小評価することがあるし、訓練体制がすべての関連する状況を十分にカバーできないこともある。 いずれの場合も、重要な機能は不明確で、学習された報酬関数の曖昧さとデプロイメント時の不整合性につながる可能性がある。 本稿では,そのような不特定特徴を検知し,対象とする修正デモを積極的に行うフレームワークを提案する。 常に最適化された機能は、デモ間でほとんど変化がなく、不特定でない機能は広範囲に分散しています。 我々は、この統計信号を利用して、どの特徴が不十分であったかを推測する。 そしてロボットは、自然言語で不確実な特徴と、特定されたギャップに明示的に対処するデモのためのクエリを説明する。 シミュレーションテーブルトップ操作領域と実際のフランカロボットを用いたユーザスタディにおけるアプローチの評価を行った。 対象とする説明誘導クエリは、ランダムクエリや受動的データ収集と比較して、報酬回復を著しく改善する。

関連論文リスト

• Stochastic Encodings for Active Feature Acquisition [100.47043816019888]
  Active Feature Acquisitionは、インスタンスワイドでシーケンシャルな意思決定問題である。 目的は、テストインスタンスごとに独立して、現在の観測に基づいて計測する機能を動的に選択することである。 一般的なアプローチは強化学習(Reinforcement Learning)であり、トレーニングの困難を経験する。 我々は、教師付きで訓練された潜在変数モデルを導入し、潜在空間における観測不能な実現の可能性の多くにまたがる特徴を推論することで獲得する。
  論文  参考訳（メタデータ） (2025-08-03T23:48:46Z)
• Offline Action-Free Learning of Ex-BMDPs by Comparing Diverse Datasets [87.62730694973696]
  本稿では,エージェント間の制御可能な特徴ダイナミクスの違いを利用して表現を学習する,サンプル効率のよいアルゴリズムCRAFTを紹介する。 我々はCRAFTの性能を理論的に保証し、おもちゃの例でその実現可能性を示す。
  論文  参考訳（メタデータ） (2025-03-26T22:05:57Z)
• Curating Demonstrations using Online Experience [52.59275477573012]
  また,Demo-SCOREは手作業によるキュレーションを伴わずに,効果的に準最適動作を識別できることが示唆された。 Demo-SCOREは、全てのオリジナルのデモンストレーションで訓練された基本方針と比較して、結果のポリシーにおいて15～35%以上の絶対的な成功率を達成する。
  論文  参考訳（メタデータ） (2025-03-05T17:58:16Z)
• Adaptive Language-Guided Abstraction from Contrastive Explanations [53.48583372522492]
  報酬を計算するためにこれらの特徴をどのように使うべきかを決定する前に、環境のどの特徴が関係しているかを決定する必要がある。 連立特徴と報奨学習のためのエンドツーエンドの手法は、しばしば、刺激的な状態特徴に敏感な脆い報酬関数をもたらす。 本稿では,言語モデルを用いて人間に意味のある特徴を反復的に識別するALGAEという手法について述べる。
  論文  参考訳（メタデータ） (2024-09-12T16:51:58Z)
• Robustness of Demonstration-based Learning Under Limited Data Scenario [54.912936555876826]
  実証に基づく学習は、限られたデータシナリオ下で事前訓練された言語モデルの能力を刺激する大きな可能性を示している。 実演と予測の間に明確な整合性がないため、なぜこのような実演が学習プロセスに有益なのかは不明だ。 本稿では,実証に基づくシーケンスラベリングの頑健さを深く掘り下げるために,標準情報から直感的に有用な情報を徐々に取り除き,病理デモを設計する。
  論文  参考訳（メタデータ） (2022-10-19T16:15:04Z)
• Evaluating the Effectiveness of Corrective Demonstrations and a Low-Cost Sensor for Dexterous Manipulation [0.5669790037378094]
  模倣学習は、ロボットが巧妙な操作能力を獲得するのを助ける、有望なアプローチである。 このような追加デモンストレーションの特性と性能への影響について検討する。 本稿では、LeapMotionのような安価な視覚ベースのセンサーを用いて、デモの提供コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2022-04-15T19:55:46Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Learning from Imperfect Demonstrations from Agents with Varying Dynamics [29.94164262533282]
  我々は,実演が模倣学習にどの程度有用かを測定するために,実現可能性スコアと最適度スコアからなる指標を開発した。 シミュレーションと実ロボットによる4つの環境実験により,学習方針の改善が期待された。
  論文  参考訳（メタデータ） (2021-03-10T07:39:38Z)
• Reinforcement Learning with Supervision from Noisy Demonstrations [38.00968774243178]
  本研究では,環境と協調して対話し,専門家による実演を生かして政策を適応的に学習する新しい枠組みを提案する。 複数の人気強化学習アルゴリズムを用いた各種環境における実験結果から,提案手法はノイズの多い実演で頑健に学習可能であることが示された。
  論文  参考訳（メタデータ） (2020-06-14T06:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。