論文の概要: Residual Modeling Closes the Regression and Generative Policy Gap in Robot Learning

• arxiv url: http://arxiv.org/abs/2610.12231v1
• Date: Thu, 08 Oct 2026 16:16:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.155522
• Title: Residual Modeling Closes the Regression and Generative Policy Gap in Robot Learning
• Title（参考訳）: 残差モデリングがロボット学習における回帰と生成ポリシーのギャップを埋める
• Abstract要約: 政策学習の一般的な選択は拡散やフローマッチング(Flow-Policies)を使うことであり、これは平均二乗誤差(MSE-Policies)で訓練された直接の行動回帰よりも優れている。 我々は、このギャップを統計的モデリングの観点から再考する: 行動予測が政策最適化をどう形作るか。 我々は,入力依存型残差尺度を学習し,重尾の影響を低減するヘテロスセダスティックな学生-t行動回帰(HT-Policies)を導入する。
• 参考スコア（独自算出の注目度）: 25.08351129371334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from demonstration has enabled impressive robot behaviors. A common choice for policy learning is to use diffusion or flow matching (Flow-Policies), which often outperforms direct action regression trained with mean squared error (MSE-Policies). This gap is commonly attributed to multimodal demonstrations. We revisit this gap from the perspective of statistical modeling: how action-prediction residuals shape policy optimization. Our analysis of real-world robot demonstration data reveals substantial state-dependent variation in residual scales and heavier-than-Gaussian tails. While both MSE-Policies and Flow-Policies exhibit heavy-tailed action residuals, their training gradients behave differently: MSE allocates more gradient magnitude to observations with large action residuals, which hurts optimization. Motivated by these findings, we introduce heteroscedastic Student-t action regression (HT-Policies), which learns input-dependent residual scales and reduces the influence of heavy tails. HT-Policies predict action chunks with a single feed-forward pass and can reuse pretrained flow-matching-based policy networks as the backbone. Across four simulation benchmarks and real-robot evaluations, HT-Policies achieves success rates competitive with generative policy baselines, both when trained from scratch and from pretrained vision-language-action and world-action models, despite being faster in training and inference. Together, these findings shed light on the practical advantages of generative objectives in robot learning from demonstrations and offer an efficient direct-regression alternative for a range of architectures and tasks. Project page: https://the-labone.github.io/regression-policy-project/
• Abstract（参考訳）: デモから学ぶことで、印象的なロボットの行動が可能になった。 ポリシー学習の一般的な選択は、拡散またはフローマッチング(Flow-Policies)を使うことであり、これは平均二乗誤差(MSE-Policies)で訓練された直接的な行動回帰よりも優れている。 このギャップは、一般的にマルチモーダルなデモンストレーションによるものである。 我々は、このギャップを統計的モデリングの観点から再考する: 行動予測が政策最適化をどう形作るか。 実世界のロボットのデモデータの解析により、残留スケールとより重いガウスの尾のかなりの状態依存的な変化が明らかとなった。 MSE-Policies と Flow-Policies はどちらも重い尾の動作残差を示すが、その訓練勾配は異なる振る舞いをする。 これらの結果から, 入力依存型残差尺度を学習し, 重尾の影響を低減できるヘテロセダスティック・学生-t行動回帰(HT-Policies)を導入した。 HT-Policiesは、単一のフィードフォワードパスでアクションチャンクを予測し、トレーニング済みのフローマッチングベースのポリシーネットワークをバックボーンとして再利用することができる。 4つのシミュレーションベンチマークと実ロボット評価で、HT-Policiesは、トレーニングや推論の高速化にもかかわらず、スクラッチからトレーニングされた場合と、事前訓練された視覚言語アクションモデルとワールドアクションモデルの両方で、生成ポリシーベースラインと競合する成功率を達成する。 これらの知見は、デモからのロボット学習における生成目標の実用的メリットを浮き彫りにして、さまざまなアーキテクチャやタスクに対して効率的な直接回帰代替手段を提供する。 プロジェクトページ: https://the-labone.github.io/regression-policy-project/

関連論文リスト

• VAMPS: Visual and Motor Policies from Sampling-Based Planning [11.387768547654183]
  VAMPSは、モデル予測パス積分(MPPI)制御を使用して、人間のデモなしで再利用可能なポリシーをトレーニングするフレームワークである。 ビジュモータポリシーでは、VAMPSは実際のロボットデータから直接動作する。 VAMPSは、シミュレーション後にハードウェア転送が行われるか、あるいは自律的に収集された実ロボットデータから直接ポリシーを学ぶことができる。
  論文  参考訳（メタデータ） (2026-10-04T15:54:35Z)
• RoboFFT: Finetuning generative robot policy via online reinforcement learning with forward process [22.898652220603026]
  生成ロボットポリシーを微調整するための前処理強化学習フレームワークであるRoboFFTを提案する。 本研究では,代表シミュレーションベンチマークを用いて,RoboFFTを一般的な生成ロボットポリシーで評価する。 さらに,RoboFFTを実世界のRLフレームワークに統合し,実世界のタスクにおいて有効性を示す。
  論文  参考訳（メタデータ） (2026-09-26T04:52:58Z)
• Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization [65.37179698521766]
  VLA(Vision-Language-Action)モデルは、ジェネラリストロボットの制御を強く約束する。 標準的な「スケールデータ」レシピがロボット工学に翻訳されるかどうかはまだ不明だ。 本稿では,多様なロボットを対象とした事前学習のためのコアトレーニング選択を再考する,VLAスケーリングの体系的かつ制御された研究を提案する。
  論文  参考訳（メタデータ） (2026-02-10T12:25:43Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• Flow Policy Gradients for Robot Control [67.61978635211048]
  フローマッチングポリシ勾配は、より表現力のあるポリシのトレーニングと微調整に有効である。 我々は、スクラッチからトレーニングを行う際に、フロー表現をどのように活用するかを示し、ベースラインよりもきめ細やかな堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-02T18:56:49Z)
• Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control [18.618486126491334]
  SAC(Soft Actor-Critic)がヒューマノイド・ロコモーション・ポリシーの大規模事前学習を確実に支援していることが判明した。 SAC-pretrained Policyは、モデルベースの手法を用いて、新しい環境やアウト・オブ・ディストリビューションタスクで微調整できる。 全体としては, 大規模シミュレーションのウォールクロック効率と, 微調整時のモデルベース学習のサンプル効率を両立させる。
  論文  参考訳（メタデータ） (2026-01-29T07:43:24Z)
• Robust Instant Policy: Leveraging Student's t-Regression Model for Robust In-context Imitation Learning of Robot Manipulation [4.545367391076448]
  我々は、ロバストインスタントポリシー(RIP)と呼ばれる、新しいロバストなインコンテキスト模倣学習アルゴリズムを提案する。 RIPは、LLMから与えられたタスクを完了させるためにいくつかの候補ロボット軌道を生成し、学生のt分布を用いてそれらを集約する。 実環境と実環境の両方で実験を行った結果,RIPは最先端のIL法よりも優れていた。
  論文  参考訳（メタデータ） (2025-06-18T06:02:06Z)
• Dense Policy: Bidirectional Autoregressive Learning of Actions [51.60428100831717]
  本稿では,行動予測における自己回帰的政策の新たなパラダイムを確立するために,Dense Policyと呼ばれる双方向拡張学習手法を提案する。 軽量なエンコーダのみのアーキテクチャを使用して、アクションシーケンスを初期単一フレームからターゲットシーケンスへ粗い方法で反復的に展開する。 実験により、我々の密集した政策は自己回帰学習能力に優れており、既存の全体的生成ポリシーを超越できることが示された。
  論文  参考訳（メタデータ） (2025-03-17T14:28:08Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。