論文の概要: Asking Smarter Questions: Targeted Active Preference Learning for Underspecified Rewards

• arxiv url: http://arxiv.org/abs/2610.22285v1
• Date: Thu, 15 Oct 2026 17:41:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.233583
• Title: Asking Smarter Questions: Targeted Active Preference Learning for Underspecified Rewards
• Title（参考訳）: よりスマートな質問を問う:未特定報酬に対するアクティブな選好学習を目標に
• Abstract要約: 我々は、解決が必要な機能において、優先クエリをターゲットとするインフォメーション事前を構築する。 我々は、これらの特徴に人間の注意を向ける説明を、各問合せに添付する。 ユーザスタディでは、通知された事前と説明が報酬回復を著しく改善し、お互いを増幅する。
• 参考スコア（独自算出の注目度）: 1.9662978733004601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward learning typically assumes the human's input covers everything that matters for the task. In practice, humans can only attend to so much at once, so their teaching naturally captures some features---or aspects of the task---better than others. Prior work has shown how the robot can identify which features were poorly supervised directly from its teaching data. But the current solution is to ask the human to try again, putting the burden on someone who already struggled to convey those features. We propose shifting this burden to the robot. Our key insight is that the same information that tells the robot what it doesn't know can help it ask better questions. Preference queries offer a low-effort channel for resolving this uncertainty, but only if the robot knows where to direct them and the human knows what to attend to when answering. We act on this insight in two ways: we build an informed prior that targets preference queries at the features that need resolving, and we accompany each query with an explanation that focuses the human's attention on exactly those features. In simulation, the informed prior beats the standard active preference learning baseline by up to $30.8\%$ in the low-query regime, where reducing human effort matters most. In a user study, the informed prior and explanations each significantly improve reward recovery and amplify each other.
• Abstract（参考訳）: 逆行学習は通常、人間の入力がタスクにとって重要なすべてをカバーしていると仮定する。 実際には、人間は一度にこれだけしか参加できないので、その教えは自然にいくつかの特徴、すなわちタスクの側面を捉えます。 これまでの研究は、ロボットが教えるデータから直接、どの機能が教師されていないかを識別する方法を示してきた。 しかし現在の解決策は、人間にもう一度試してみてもらい、これらの機能を伝えるのに苦労している人に負担をかけることだ。 我々はこの負担をロボットにシフトさせることを提案する。 私たちの重要な洞察は、ロボットに知らないことを知らせるのと同じ情報が、より良い質問をするのに役立ちます。 推奨クエリは、この不確実性を解決するための低便なチャネルを提供するが、ロボットがそれらを指示する方法を知っていて、人間が答えるときに何を出席すべきかを知っている場合のみである。 我々は、この洞察を2つの方法で実行します。私たちは、解決が必要な機能に対して、優先クエリをターゲットとするインフォメーション事前を構築し、その機能に人間の注意を向ける説明を各クエリに添付します。 シミュレーションでは、インフォームドプリエントが標準的なアクティブな嗜好学習ベースラインを最大30.8 %まで上回り、人間の労力を減らすことが最も重要である。 ユーザスタディでは、通知された事前と説明が報酬回復を著しく改善し、お互いを増幅する。

関連論文リスト

• CIVIL: Causal and Intuitive Visual Imitation Learning [5.090234440090935]
  ロボットのための新しい訓練パラダイムを提案する。 ロボットがどのような行動をとるべきかを人間に示すのではなく、人間がなぜ意思決定をしたのかを直感的に示すことができるのです。 我々のシミュレーションと実世界の実験は、CIVILで訓練されたロボットが、どのような行動を取るか、なぜその行動を取るのかを学習していることを示しています。
  論文  参考訳（メタデータ） (2025-04-24T22:08:29Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Aligning Robot and Human Representations [50.070982136315784]
  ロボット工学における現在の表現学習アプローチは、表現アライメントの目的がいかにうまく達成されているかの観点から研究されるべきである。 問題を数学的に定義し、その鍵となるデシダータを同定し、この形式主義の中に現在の方法を置く。
  論文  参考訳（メタデータ） (2023-02-03T18:59:55Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Learning Preferences for Interactive Autonomy [1.90365714903665]
  この論文は、他のより信頼性の高いデータモダリティを用いて、人間のユーザーから報酬関数を学習する試みである。 まず、まず、ペアワイズ比較、ベスト・オブ・マンティ選択、ランキング、スケールされた比較など、さまざまな形態の比較フィードバックを提案し、ロボットがこれらの形態の人間のフィードバックを使って報酬関数を推測する方法を説明する。
  論文  参考訳（メタデータ） (2022-10-19T21:34:51Z)
• Human-to-Robot Imitation in the Wild [50.49660984318492]
  本研究では,第三者の視点からの学習を中心に,効率的なワンショットロボット学習アルゴリズムを提案する。 実世界における20種類の操作タスクを含む,ワンショットの一般化と成功を示す。
  論文  参考訳（メタデータ） (2022-07-19T17:59:59Z)
• Inducing Structure in Reward Learning by Learning Features [31.413656752926208]
  本稿では,その特徴を学習するための新しいタイプの人間入力と,それを生の状態空間から複雑な特徴を学習するアルゴリズムを紹介する。 当社の手法は,すべての機能をスクラッチから学ばなければならないような設定や,いくつかの機能が知られている場所で実証しています。
  論文  参考訳（メタデータ） (2022-01-18T16:02:29Z)
• Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills [93.12417203541948]
  与えられたデータセットの任意の目標状態に到達するために学習することによって、環境の機能的な理解を学ぶ目的を提案する。 提案手法は,高次元カメラ画像上で動作し,これまで見つからなかったシーンやオブジェクトに一般化した実ロボットの様々なスキルを学習することができる。
  論文  参考訳（メタデータ） (2021-04-15T20:10:11Z)
• Hierarchical Affordance Discovery using Intrinsic Motivation [69.9674326582747]
  本研究では,移動ロボットの価格学習を支援するために,本質的なモチベーションを用いたアルゴリズムを提案する。 このアルゴリズムは、事前にプログラムされたアクションなしで、相互に関連のある価格を自律的に発見し、学習し、適応することができる。 一度学習すると、これらの余裕はアルゴリズムによって様々な困難を伴うタスクを実行するために一連のアクションを計画するために使われる。
  論文  参考訳（メタデータ） (2020-09-23T07:18:21Z)
• Feature Expansive Reward Learning: Rethinking Human Input [31.413656752926208]
  そこで我々は,ロボットが教えている特徴が表現されていない状態からロボットを誘導する新しいタイプの人間入力を紹介した。 本稿では,その特徴を生の状態空間から学習し,報酬関数に組み込むアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。