論文の概要: Policy-Calibrated DAgger: Offline Calibrated Noise Injection for Imitation Learning

• arxiv url: http://arxiv.org/abs/2609.30462v1
• Date: Thu, 24 Sep 2026 18:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.108878
• Title: Policy-Calibrated DAgger: Offline Calibrated Noise Injection for Imitation Learning
• Title（参考訳）: 政策校正ダガー:模擬学習のためのオフライン校正ノイズ注入
• Abstract要約: 模倣学習で訓練されたポリシーは、時間とともにエラーを蓄積し、トレーニングディストリビューションの外でロボットがドリフトする。 そこで本稿では,最近の生成ポリシの特性を利用してポリシのノイズをオフラインに見積もる手法であるDAggerを提案する。 提案手法は,ノイズを発生させることなく,データセットアグリゲーションで訓練したポリシーを超越し,最適雑音レベルの性能に適合することを示す。
• 参考スコア（独自算出の注目度）: 7.030620523998106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Policies trained with imitation learning can accumulate errors over time, causing the robot to drift outside the training distribution. Existing methods mitigate this covariate shift by collecting additional data where the policy fails or is likely to fail. The first places the robot in unsafe conditions and the second requires choosing an appropriate noise distribution to collect new expert demonstrations under that noise. We propose Policy-Calibrated DAgger, a method that makes use of the properties of recent generative policies to estimate the policy's noise offline by using its own predicted action distribution. We measure a diffusion policy's spread of predicted actions at observations along the expert trajectory and measure its closed-loop error relative to a recorded trajectory. To address issues with measuring error in a multimodal action space, we guide the policy towards the trajectory during closed-loop control through partial denoising, and use properties of a diffusion model to unnormalize the measured error as if we did not guide it. We experiment in a scenario where a robot is tasked to reach an engine lever in a cluttered and narrow environment and show results in a 3D photorealistic simulator and a 2D planar reacher environment. We show that our method surpasses policies trained with dataset aggregation without noising and matches the performance of the best noise level in hindsight, without requiring a sweep over noise levels.
• Abstract（参考訳）: 模倣学習で訓練されたポリシーは、時間とともにエラーを蓄積し、トレーニングディストリビューションの外でロボットがドリフトする。 既存の方法は、ポリシーが失敗したり、失敗する可能性がある追加データを収集することで、この共変量シフトを緩和する。 第一に、ロボットを安全でない環境に配置し、第二に、そのノイズの下で新しい専門家のデモンストレーションを集めるために、適切なノイズ分布を選択する必要がある。 提案手法は, 政策のノイズをオフラインに推定する手法であるDAggerを, 予測された行動分布を用いて提案する。 拡散政策の予測行動の拡散を専門家の軌道に沿った観測で測定し,その閉ループ誤差を記録軌道と比較した。 マルチモーダルな動作空間における誤差の測定に関する問題に対処するため, 閉ループ制御時の軌道方向の方針を部分的復調により案内し, 拡散モデルの特性を用いて, 測定誤差を誘導しないかのように非正規化する。 本研究では, ロボットが狭い環境下でエンジンレバーに到達し, 3次元フォトリアリスティックシミュレータと2次元平面到達環境で結果を示すシナリオを実験した。 本手法は, ノイズレベルを網羅することなく, 最高のノイズレベルの性能と一致させることなく, データセットアグリゲーションで訓練したポリシーを超越することを示す。

関連論文リスト

• TapSampling: Inference-Time Sampling with a Task-Progress-Understanding Verifier for Robotic Manipulation [61.35569005726248]
  既存の具体的制御研究は、トレーニングデータとモデルサイズをスケールすることで、顕著なパフォーマンス向上を示す。 拡散や自己回帰モデルのような非決定論的生成モデルは、エンボディドコントロールの分野で広く採用されている。 推測時間サンプリングのためのプラグイン・アンド・プレイフレームワークである textbfTapSampling を提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:03:31Z)
• Discrete Flow Matching for Offline-to-Online Reinforcement Learning [10.112779201155005]
  DRIFTは、オフラインで事前訓練された連続時間マルコフ連鎖(CTMC)ポリシーを更新するオンラインの微調整手法である。 大規模離散的なアクション空間に対して、参照ポリシーロールアウトからサンプリングされたアクションの小さなサブセット上でアクターを更新する候補セット近似を導入する。 離散的動作RLタスクに対する実験により,本手法が全タスクに対して安定したオフライン-オンライン改善を実現することを示す。
  論文  参考訳（メタデータ） (2026-05-12T16:44:02Z)
• Noise-Robust Tiny Object Localization with Flows [63.60972031108944]
  フレキシブルなエラーモデリングと不確実性誘導最適化に正規化フローを活用するノイズローバストローカライゼーションフレームワークを提案する。 本手法は,フローベース誤差モデルを用いて,複雑な非ガウス予測分布を抽出し,ノイズの多い監視下で頑健な学習を可能にする。 不確実性を考慮した勾配変調機構は、トレーニングを安定化しながら過度な適合を緩和し、高不確実でノイズの強いサンプルからの学習をさらに抑制する。
  論文  参考訳（メタデータ） (2026-01-02T09:16:55Z)
• Failure Prediction at Runtime for Generative Robot Policies [6.375597233389154]
  実行中の早期の障害予測は、人間中心で安全クリティカルな環境でロボットをデプロイするために不可欠である。 本稿では,フェールデータを必要としない生成ロボットポリシーの故障予測フレームワークであるFIPERを提案する。 その結果、FIPERは実際の障害と良質なOOD状況とをよく区別し、既存の手法よりも正確に早期に障害を予測できることがわかった。
  論文  参考訳（メタデータ） (2025-10-10T15:09:27Z)
• Inference-Time Policy Steering through Human Interactions [54.02655062969934]
  推論中、人間はしばしばポリシー実行ループから取り除かれる。 本稿では,人間のインタラクションを活用して生成するサンプリングプロセスにバイアスを与える推論時ポリシーステアリングフレームワークを提案する。 提案手法は,アライメントと分布シフトの最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2024-11-25T18:03:50Z)
• Model Checking for Closed-Loop Robot Reactive Planning [0.0]
  モデル検査を用いて、ディファレンシャルドライブホイールロボットの多段階計画を作成することにより、即時危険を回避できることを示す。 簡単な生物エージェントのエゴセントリックな反応を反映した,小型で汎用的なモデル検査アルゴリズムを用いて,リアルタイムで計画を生成する。
  論文  参考訳（メタデータ） (2023-11-16T11:02:29Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows [58.762959061522736]
  オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。 我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。 提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-11-20T21:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。