論文の概要: Optimizing Neurorobot Policy under Limited Demonstration Data through Preference Regret

• arxiv url: http://arxiv.org/abs/2604.03523v1
• Date: Sat, 04 Apr 2026 00:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.61981
• Title: Optimizing Neurorobot Policy under Limited Demonstration Data through Preference Regret
• Title（参考訳）: 参照レグレットによる限定実証データに基づくニューロロボティクスの最適化
• Authors: Viet Dung Nguyen, Yuhang Song, Anh Nguyen, Jamison Heard, Reynold Bailey, Alexander Ororbia,
• Abstract要約: MYOE(Master your own expertise)は、ロボットエージェントが限られた実演データサンプルから複雑な振る舞いを学習できるようにする自己シミュレーションフレームワークである。 人間の知覚と行動に触発されて、クエリ可能な混合参照状態空間モデル(QMoP-SSM)を提案し、設計する。 我々の実験は、他の最先端RLfD方式と比較して、我々のエージェントの堅牢性、適応性、およびサンプル外性能を実証した。
• 参考スコア（独自算出の注目度）: 45.21845762562799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robot reinforcement learning from demonstrations (RLfD) assumes that expert data is abundant; this is usually unrealistic in the real world given data scarcity as well as high collection cost. Furthermore, imitation learning algorithms assume that the data is independently and identically distributed, which ultimately results in poorer performance as gradual errors emerge and compound within test-time trajectories. We address these issues by introducing the "master your own expertise" (MYOE) framework, a self-imitation framework that enables robotic agents to learn complex behaviors from limited demonstration data samples. Inspired by human perception and action, we propose and design what we call the queryable mixture-of-preferences state space model (QMoP-SSM), which estimates the desired goal at every time step. These desired goals are used in computing the "preference regret", which is used to optimize the robot control policy. Our experiments demonstrate the robustness, adaptability, and out-of-sample performance of our agent compared to other state-of-the-art RLfD schemes. The GitHub repository that supports this work can be found at: https://github.com/rxng8/neurorobot-preference-regret-learning.
• Abstract（参考訳）: デモ(RLfD)からのロボット強化学習は、専門家データが豊富であると仮定する。 さらに、模倣学習アルゴリズムは、データが独立して同一に分散されていると仮定し、結果として徐々にエラーが発生するとパフォーマンスが低下し、テスト時間軌道内で複雑になる。 ロボットエージェントが限られた実演データサンプルから複雑な振る舞いを学習できるようにする自己シミュレーションフレームワークであるMYOE(Master your own expertise)フレームワークを導入することで、これらの課題に対処する。 人間の知覚と行動に触発されて、我々はクエリ可能な混合参照状態空間モデル(QMoP-SSM)を提案し、設計する。 これらの目的は、ロボット制御ポリシーの最適化に使用される「推奨後悔」の計算に使用される。 我々の実験は、他の最先端RLfD方式と比較して、我々のエージェントの堅牢性、適応性、およびサンプル外性能を実証した。 この作業をサポートするGitHubリポジトリは、https://github.com/rxng8/neurorobot-preference-regret-learningで見ることができる。

関連論文リスト

• Human-AI Collaborative Autonomous Experimentation With Proxy Modeling for Comparative Observation [1.05460929917527]
  本稿では,人間とAIエージェントの協調作業を通じて,プロキシモデルによるベイズ最適化(px-BO)を提案する。 我々のアプローチは、従来のデータ駆動探索よりも検索を改善するために、ドメインエキスパートのより良いコントロールを提供しました。
  論文  参考訳（メタデータ） (2026-03-13T03:45:24Z)
• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [57.278726604424556]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Active Exploration in Bayesian Model-based Reinforcement Learning for Robot Manipulation [8.940998315746684]
  ロボットアームのエンドタスクに対するモデルベース強化学習(RL)アプローチを提案する。 我々はベイズニューラルネットワークモデルを用いて、探索中に動的モデルに符号化された信念と情報の両方を確率論的に表現する。 実験により,ベイズモデルに基づくRL手法の利点が示された。
  論文  参考訳（メタデータ） (2024-04-02T11:44:37Z)
• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [82.46975428739329]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• On-Robot Bayesian Reinforcement Learning for POMDPs [16.667924736270415]
  本稿では,ロボット工学におけるベイズ強化学習を,物理システムのための特殊フレームワークの提案により進める。 この知識を因子表現で捉え、後続の分解を同様の形で示し、最終的にベイズ的枠組みでモデルを定式化する。 次に,モンテカルロ木探索と粒子フィルタリングに基づくサンプルベースオンライン解法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T01:16:29Z)
• Curriculum-Based Imitation of Versatile Skills [15.97723808124603]
  模倣による学習スキルは、ロボットの直感的な教育にとって有望な概念である。 このようなスキルを学ぶ一般的な方法は、デモが与えられた可能性の最大化によってパラメトリックモデルを学ぶことである。 しかし、人間のデモンストレーションはしばしばマルチモーダルであり、同じタスクは複数の方法で解決される。
  論文  参考訳（メタデータ） (2023-04-11T12:10:41Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• PerSim: Data-Efficient Offline Reinforcement Learning with Heterogeneous Agents via Personalized Simulators [19.026312915461553]
  我々はpersimと呼ばれるモデルベースオフライン強化学習(rl)手法を提案する。 まず,各エージェントのパーソナライズされたシミュレータを,政策を学ぶ前に,各エージェントの履歴軌跡をまとめて学習する。 この表現は、エージェントごとの遷移ダイナミクスを効果的に学習するための、単純で正規化されたニューラルネットワークアーキテクチャを示唆している。
  論文  参考訳（メタデータ） (2021-02-13T17:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。