論文の概要: Estimate, Don't Imitate: Reusing Differentiable State-Based Policies for Visuomotor Control

• arxiv url: http://arxiv.org/abs/2609.34018v1
• Date: Sun, 27 Sep 2026 23:26:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:42:26.193154
• Title: Estimate, Don't Imitate: Reusing Differentiable State-Based Policies for Visuomotor Control
• Title（参考訳）: 推定, 再帰しない: ビジュモータ制御のための微分可能な状態ベースポリシーの再利用
• Abstract要約: シミュレーション訓練された操作ポリシは、権限のある状態情報を利用して、効果的なコンタクトリッチな振る舞いを学ぶことができる。 一般的な解決策は、教師と学生の蒸留であり、特権を持つ専門家の行動を再現するために、振動子政策を訓練する。 これにより、学生はタスク関連状態を共同で推測し、既に利用可能な専門家のアクションマッピングを再学習する必要がある。 仮想パンダロボットにおけるシミュレート・トゥ・リアル・トランスファーを実証し、基礎となる専門家を再訓練することなく76%の成功を達成した。
• 参考スコア（独自算出の注目度）: 22.104261190650664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulation-trained manipulation policies can exploit privileged state information to learn effective contact-rich behaviours, but deployment requires acting from partial observations such as noisy camera images. A common solution is teacher-student distillation, in which a visuomotor policy is trained to reproduce the actions of the privileged expert. This requires the student to jointly infer the task-relevant state and relearn the expert's action mapping that is already available. An alternative is to reuse the state-based expert and learn only a perceptual interface that reconstructs its missing state inputs. However, minimising the state estimate error alone does not necessarily minimise the downstream control error induced by these estimates. To bridge this gap, we train a visual state estimator using both direct state supervision and an action-consistency loss backpropagated through the frozen, differentiable expert. A scheduled objective first establishes a physically meaningful state estimate and progressively emphasises errors that affect the expert's actions. Across five goal-conditioned manipulation tasks, retaining the expert consistently outperforms direct pixel-to-action imitation from the same expert demonstration corpus. We further demonstrate sim-to-real transfer on a physical Panda robot, achieving 76% success without retraining the underlying expert.
• Abstract（参考訳）: シミュレーション訓練された操作ポリシーは、特権状態情報を利用して効果的なコンタクトリッチな振る舞いを学ぶことができるが、デプロイメントにはノイズの多いカメライメージのような部分的な観察から行動する必要がある。 一般的な解決策は、教師と学生の蒸留であり、特権を持つ専門家の行動を再現するために、振動子政策を訓練する。 これにより、学生はタスク関連状態を共同で推測し、既に利用可能な専門家のアクションマッピングを再学習する必要がある。 別の方法は、状態ベースのエキスパートを再利用し、欠落した状態入力を再構築する知覚インターフェースのみを学ぶことである。 しかし、状態推定誤差を最小化するだけでは、これらの推定によって引き起こされる下流制御誤差を最小化するとは限らない。 このギャップを埋めるために、凍結した識別可能な専門家によって逆伝播される直接状態監視とアクション一貫性損失の両方を用いて視覚状態推定器を訓練する。 計画された目的はまず、物理的に意味のある状態の推定を確立し、専門家の行動に影響を与えるエラーを徐々に強調する。 5つの目標条件付き操作タスクにまたがって、専門家は、同じ専門家のデモンストレーションコーパスから直接ピクセル対アクションの模倣を一貫して上回っている。 さらに,Pandaロボット上でのシミュレートと現実の移動を実証し,基礎となる専門家を再訓練することなく76%の成功を達成した。

関連論文リスト

• ForceRFT: Refining VLA Actions through Force-Guided Residual Reinforcement Learning [10.418397316382782]
  ForceRFTは、フォース誘導強化学習フレームワークである。 人間の監督や自律的なタスクの結果からコンタクト依存の修正を学ぶ。 プラグ挿入、リングオンペグ組立、ホワイトボードワイピングの実験は、評価された実演訓練および残像ベースラインよりも高い自律的な成功率を示した。
  論文  参考訳（メタデータ） (2026-09-19T07:16:11Z)
• MAGMA-GEN: Validated Recovery Supervision from Ambiguous Failures via Counterfactual Re-Execution [1.0074626918268836]
  本稿では、不明瞭なロールアウトを検証されたリカバリ監視に変換する、オンラインデータ生成パイプラインであるMAGMA-GENを提案する。 MaGMA-GENは、まず特権コーチを使用して早期決定レベルのエラーを仮説化し、局所的な修正または回復アクションを提案する。 この診断は誤りであり、一致した条件下での同一状態からの再実行が下流の進行を改善した場合のみ、候補は保持される。
  論文  参考訳（メタデータ） (2026-09-17T11:07:47Z)
• Perfect Demo Makes Poor Teacher: Learning Robust Alignment from Critical Motion Segments [53.85970147743299]
  専門家によるデモンストレーションは、ロボット模倣学習における金の標準であると広く考えられている。 しかし、挿入、積み重ね、アライメントなどのきめ細かい操作のために、私たちは直感的な失敗モードを発見しました。 視覚言語モデルとアクションエキスパートをブリッジする,コンパクトな動的特徴であるSTAIRを導入する。
  論文  参考訳（メタデータ） (2026-06-14T04:15:29Z)
• Adaptive state-action abstractions via rate-distortion [52.25810164390199]
  強化学習は、複雑なタスクの単純なバージョンを構築するための複数のテクニックを提供する。 本稿では,抽象化自体によって引き起こされる誤りに匹敵する学習エラーが生じたら,抽象化を洗練させるという原理を提案する。
  論文  参考訳（メタデータ） (2026-06-04T13:10:18Z)
• Real-Time Operator Takeover for Visuomotor Diffusion Policy Training [12.721199533591916]
  Real-Time Operator Takeover (RTOT) パラダイムにより、オペレータはライブビジュモータ拡散ポリシーをシームレスに制御できる。 マハロノビス距離を用いて、望ましくない状態を自動的に識別する新たな知見を提示する。
  論文  参考訳（メタデータ） (2025-02-04T13:24:28Z)
• Offline Imitation Learning with Model-based Reverse Augmentation [48.64791438847236]
  本稿では,自己ペースの逆拡張によるオフラインImitation Learningという,新しいモデルベースフレームワークを提案する。 具体的には、オフラインのデモからリバース・ダイナミック・モデルを構築し、専門家が観察した状態につながる軌道を効率的に生成する。 後続の強化学習法を用いて,拡張軌道から学習し,未観測状態から未観測状態へ移行する。
  論文  参考訳（メタデータ） (2024-06-18T12:27:02Z)
• A Simple Solution for Offline Imitation from Observations and Examples with Possibly Incomplete Trajectories [122.11358440078581]
  オフラインの模倣は、任意のインタラクションがコストがかかり、専門家のアクションが利用できない現実世界のシナリオで有用である。 本研究では,タスク固有の専門的状態とタスクに依存しない非専門的状態-アクションペアのみを利用できるMPPを解決するために,観察から学習するトラジェクトリ・アウェア・ラーニング(TAILO)を提案する。
  論文  参考訳（メタデータ） (2023-11-02T15:41:09Z)
• Self-Supervised Adversarial Imitation Learning [20.248498544165184]
  行動クローンは、専門家によるデモンストレーションを通じてエージェントに行動の仕方を教える。 最近のアプローチでは、状態ペアをアクションにデコードするために、状態の完全な観測不可能なスナップショットをセルフスーパービジョンで使用しています。 これまでの作業では、この問題を解決するためにゴール認識戦略を使用していました。 差別化を元のフレームワークに組み込むことによって、この制限に対処する。
  論文  参考訳（メタデータ） (2023-04-21T12:12:33Z)
• Chain of Thought Imitation with Procedure Cloning [129.62135987416164]
  本稿では,一連の専門家計算を模倣するために,教師付きシーケンス予測を適用したプロシージャクローニングを提案する。 本研究では、専門家の行動の中間計算を模倣することで、プロシージャのクローン化により、未知の環境構成に顕著な一般化を示すポリシーを学習できることを示す。
  論文  参考訳（メタデータ） (2022-05-22T13:14:09Z)
• Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders [62.54431888432302]
  無限水平エルゴードマルコフ決定過程におけるOPE問題について考察する。 我々は、状態と行動の潜在変数モデルのみを考慮すれば、政策値が政治外のデータから特定できることを示す。
  論文  参考訳（メタデータ） (2020-07-27T22:19:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。