論文の概要: ForceRFT: Refining VLA Actions through Force-Guided Residual Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.22840v1
- Date: Sat, 19 Sep 2026 07:16:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:18:58.277168
- Title: ForceRFT: Refining VLA Actions through Force-Guided Residual Reinforcement Learning
- Title（参考訳）: ForceRFT:Force-Guided Residual Reinforcement LearningによるVLAアクションの精製
- Abstract要約: ForceRFTは、フォース誘導強化学習フレームワークである。
人間の監督や自律的なタスクの結果からコンタクト依存の修正を学ぶ。
プラグ挿入、リングオンペグ組立、ホワイトボードワイピングの実験は、評価された実演訓練および残像ベースラインよりも高い自律的な成功率を示した。
- 参考スコア（独自算出の注目度）: 10.418397316382782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Force-conditioned vision-language-action (VLA) policies can respond to contact, but when trained solely on demonstrations, their recovery behavior may be limited by demonstration coverage, and they do not learn from deployment outcomes. Human corrective imitation provides additional recovery examples, but its objective matches local action targets without explicitly optimizing task return. We present ForceRFT, a force-guided residual reinforcement learning framework that learns contact-dependent corrections from human supervision and autonomous task outcomes. A frozen, demonstration-trained SmolVLA-based prior generates force-conditioned action chunks, while a lightweight residual actor refines individual end-effector pose commands using wrist feedback acquired during chunk execution. The decision-time wrist wrench, its temporal change, and the selected base motion condition both residual correction and value estimation. Human corrections supervise the residual actor, while verified autonomous transitions train the twin critics and support value-guided updates to the same actor. Bootstrapping is restricted to autonomous segments, preventing TD credit from crossing human-intervention boundaries. Real-robot experiments on plug insertion, ring-on-peg assembly, and whiteboard wiping show higher autonomous success rates than the evaluated demonstration-trained and residual-imitation baselines. Comparisons with residual imitation support value-guided residual optimization, while plug-insertion ablations indicate the benefit of direct execution-time wrist feedback.
- Abstract（参考訳）: 強制条件付き視覚言語アクション(VLA)ポリシーは、接触に応答できるが、デモのみにトレーニングされた場合、その回復行動はデモカバレッジによって制限され、デプロイメント結果から学習されない可能性がある。
人間の修正模倣は、追加のリカバリ例を提供するが、その目的は、タスクリターンを明示的に最適化することなく、ローカルアクションターゲットにマッチする。
我々は,人間の監督や自律的なタスク成果から,接触に依存した修正を学習する力覚的残留強化学習フレームワークであるForceRFTを提案する。
凍結された実演訓練されたSmolVLAベースの前者は、強制条件付きアクションチャンクを生成し、一方、軽量な残留アクターは、チャンク実行中に取得した手首フィードバックを使用して、個々のエンドエフェクタのポーズコマンドを洗練する。
決定時間手首レンチ、時間的変化、選択された基本動作条件は、残差補正と値推定の両方である。
人間の修正は残ったアクターを監督し、検証された自律的な移行は双子の批評家を訓練し、同じアクターに対する価値誘導更新をサポートする。
ブートストラッピングは自律的なセグメントに限定されており、TDクレジットが人的介入の境界を越えるのを防ぐ。
プラグ挿入、リングオンペグ組立、ホワイトボードワイピングに関する実ロボット実験は、評価された実演訓練および残像ベースラインよりも高い自律的な成功率を示した。
残差模倣支援値誘導残差最適化との比較では, プラグ挿入の短縮は直接実行時手首フィードバックの利点を示す。
関連論文リスト
- MAGMA-GEN: Validated Recovery Supervision from Ambiguous Failures via Counterfactual Re-Execution [1.0074626918268836]
本稿では、不明瞭なロールアウトを検証されたリカバリ監視に変換する、オンラインデータ生成パイプラインであるMAGMA-GENを提案する。
MaGMA-GENは、まず特権コーチを使用して早期決定レベルのエラーを仮説化し、局所的な修正または回復アクションを提案する。
この診断は誤りであり、一致した条件下での同一状態からの再実行が下流の進行を改善した場合のみ、候補は保持される。
論文 参考訳（メタデータ） (2026-09-17T11:07:47Z) - Phase-and-First-Arrival VLM Feedback for Sparse-Reward Reinforcement Learning in Surgical Manipulation [18.513281440175113]
スパース・リワード強化学習では、終末報酬は同じ結果にそのような試みが崩壊する。
記録されたエピソードごとの1つのVLMクエリは、最も視覚的に検証されたタスクフェーズを識別する。
5つのシミュレートされたタスクにおいて,提案手法は平均75.2%に到達し,コントラスト言語-画像事前学習に基づく報酬は52.1%となった。
論文 参考訳（メタデータ） (2026-09-07T08:29:59Z) - AutoIntervene: Calibrated Intervention for Action-Chunking Imitation Learning Policies [4.786936073180585]
アクションチャンキングビズモータポリシは、デモから学び、時間的一貫性を改善する。
デプロイ中にアクションチャンキングポリシーとオペレータ間で制御を選択的に転送するオンラインフレームワークであるAutoInterveneを提案する。
論文 参考訳（メタデータ） (2026-08-07T10:14:29Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - TrustVLA: Mechanism-Guided Inference-Time Defense Against Vision-Language-Action Backdoors [54.12833308568015]
VLA(Vision-Language-Action)モデルは、エンドユーザが監査できないパイプラインを通じてデプロイされる。
小さな視覚トリガーは、障害が観測可能である前に、長い水平ロボットポリシーをリダイレクトする。
個別に提案した2つのVLA攻撃を通してこのギャップについて検討した。
論文 参考訳（メタデータ） (2026-07-14T09:43:52Z) - PhysReflect-VLA: Physical Feasibility and Self-Reflective Regulation for Reliable Vision-Language-Action Policies [29.471598488144277]
ロングホライゾンのロボット操作は、物理的に実現不可能な遷移、接触による障害、実行中の効果的な自己補正の欠如に非常に敏感である。
本稿では,PhysReflect-VLAを提案する。PhysReflect-VLAは,クローズドループ制御パイプラインにおいて,VLAポリシーを物理的実現可能性評価と構造化自己回帰により拡張する,プラグアンドプレイ実行時信頼性フレームワークである。
論文 参考訳（メタデータ） (2026-06-25T15:18:10Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。
RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。
複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2026-05-12T20:46:05Z) - AdaGamma: State-Dependent Discounting for Temporal Adaptation in Reinforcement Learning [13.721410595245894]
国家依存割引は概念的には魅力的だが、真に深いアクター-批判的な実装は、TDエラーの崩壊に向かって退化することができる。
AdaGammaは、状態依存割引の実践的ディープアクター批判的手法であり、状態依存割引関数をリターン整合性目標とともに学習する。
論文 参考訳（メタデータ） (2026-05-07T12:42:46Z) - Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。
ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。
実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
論文 参考訳（メタデータ） (2025-10-06T14:48:39Z) - Residual Reinforcement Learning from Demonstrations [51.56457466788513]
報酬信号の最大化のために,従来のフィードバックコントローラからの制御動作を適用することで,ロボット作業の課題を解決する手段として,残留強化学習(Residual reinforcement learning, RL)が提案されている。
視覚的インプットから学習するための残差定式化を拡張し,実演を用いて報酬をスパースする。
6-DoFのUR5アームと28-DoFのデキスタラスハンドのシミュレーション操作に関する実験的評価は、デモからの残留RLが、行動クローニングやRL微調整よりも柔軟に、見えない環境条件に一般化できることを実証している。
論文 参考訳（メタデータ） (2021-06-15T11:16:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。