論文の概要: RAFT: Reasoning-Aligned Fine-Tuning Improves Robustness of VLA Post-Training

• arxiv url: http://arxiv.org/abs/2611.04368v1
• Date: Tue, 03 Nov 2026 05:56:28 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:24:58.352369
• Title: RAFT: Reasoning-Aligned Fine-Tuning Improves Robustness of VLA Post-Training
• Title（参考訳）: RAFT:VLA後トレーニングのロバスト性を改善するファインチューニング
• Abstract要約: 視覚言語アクションポリシーを目標タスクに適用することで、外観、オブジェクト、指示の変動に対するロバストさを低減しつつ、名目上のタスクの成功を改善することができる。 本稿では,2段階の後訓練法であるRAFT(Solaring-aligned fine-tuning)を導入する。 RAFTはまずタスク関連推論アノテーションの低ランクアダプタを訓練し、その後、アクションデモのポリシーを微調整しながらそれらを凍結する。
• 参考スコア（独自算出の注目度）: 13.288566574593927
• License:
• Abstract: Adapting a generalist vision-language-action (VLA) policy to a target task with limited demonstrations can improve nominal task success while reducing robustness to variations in appearance, objects, and instructions. We introduce reasoning-aligned fine-tuning (RAFT), a two-stage post-training procedure: RAFT first trains low-rank adapters on task-relevant reasoning annotations, then freezes them while fine-tuning the policy on action demonstrations. On a physical DROID robot, RAFT achieves $75.0\%$ out-of-distribution success, compared with $27.9\%$ for plain fine-tuning; on a multi-stage bimanual YAM task, it reaches $70.0\%$ mean success, compared with $36.0\%$ for the strongest baseline. RAFT also improves success under visual, object, and instruction shifts in simulated pick-and-place and open-drawer tasks. Compared with plain fine-tuning, RAFT policies place more attention on annotated task regions and yield higher linear-probe accuracy for object identity in later layers. A broader reasoning-data mixture further improves downstream success across demonstration budgets.
• Abstract（参考訳）: VLA(Generalist Vision-Language-action)ポリシを限定的なデモンストレーションでターゲットタスクに適用することで、外観、オブジェクト、命令の変動に対する堅牢性を低下させながら、名目上のタスクの成功を改善することができる。 RAFTは、まず、タスク関連推論アノテーションの低ランクアダプタを訓練し、次に、アクションデモのポリシーを微調整しながら、それらを凍結する。 物理的なDROIDロボットでは、RAFTは、通常の微調整では27.9.%、配布外成功では75.0.%、多段階の双方向YAMタスクでは76.0.%、最強ベースラインでは36.0.%となる。 RAFTはまた、シミュレートされたピック・アンド・プレース・アンド・オープン・ドリューワータスクにおける視覚、オブジェクト、命令のシフト下での成功を改善する。 RAFTポリシーは、平易な微調整と比較して、注釈付きタスク領域に注意を向け、後続の層におけるオブジェクトの同一性に対して高い線形プローブ精度が得られる。 より広範な推論データ混在は、デモ予算のダウンストリームの成功をさらに改善します。

関連論文リスト

• Mulligan: Performance-Guided Data Collection for Efficient On-Robot Learning [49.96968347002295]
  人間のデモから学ぶことは、ロボットに新しいタスクを教えるための信頼できる方法だが、ポリシーが改善するにつれて、追加のデモから得られる利益は減少する。 我々は、高精度な操作タスクにおいて、監督エピソードの固定予算から改善を最大化する方法を問う。 フェールが初期状態の小さなサブセットに集中できることを観察するため、均一なコレクションは、ポリシーがすでに処理している状態にオペレータの時間の大部分を費やします。
  論文  参考訳（メタデータ） (2026-10-05T06:56:13Z)
• ICI-VLA: In-Context Imitation with Spatiotemporally Aligned Demonstrations for Vision-Language-Action Models [9.31323513616827]
  ICI-VLA(ICI-VLA)は、テキストアクション型VLMと、インテキストによる実演によるテスト時間適応機能を備えたトレーニング・検索フレームワークである。 ICI-VLAは、オフライントレーニング中のみパラメータを更新する。
  論文  参考訳（メタデータ） (2026-09-07T14:55:35Z)
• Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning [27.507258147328]
  アウトカム駆動強化学習は、タスク・サクセスの少ないフィードバックから、視覚-言語-アクション(VLA)ポリシーをトレーニング後処理するスケーラブルな方法を提供する。 RoboTwin 2.0では、Temporal GRPOがタスク成功とサンプル効率を改善し、タスク水平線を一貫したゲインを実現している。
  論文  参考訳（メタデータ） (2026-08-13T09:54:14Z)
• Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models [9.001452420505068]
  本稿では,フローベースVLAモデルのための強化学習(RL)後学習フレームワークZ-1を提案する。 Z-1 は SFT で公開された RoboCasa のデモのみを使用し、24ドルの RoboCasa タスクに対してタスクワイドな Group Relative Policy 戦略を適用している。
  論文  参考訳（メタデータ） (2026-06-30T15:46:57Z)
• SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation [57.131411215593744]
  ロングホライゾン操作のための微調整視覚言語アクション(VLA)ポリシーは、依然として行動クローニングに大きく依存している。 本稿では,MMOE(Multi-gate Mixture-of-Experts)値ヘッドとアクションプリミティブベースのステージ推定器を組み合わせたマルチタスクステージ認識報酬モデルRMを紹介する。 RM 上に構築した SPIRAL は,安価で自律的なロールアウトから VLA ポリシーを改善する,政治上の報酬誘導型フレームワークである。
  論文  参考訳（メタデータ） (2026-06-09T01:46:23Z)
• Generalizable Dense Reward for Long-Horizon Robotic Tasks [10.301325532021218]
  VLM(Vision-Language Models)は、タスクを検証可能なサブタスクに分解する。 自己確実性は、PPOファインタニング全体を通じてステップごとの本質的なガイダンスを提供する。 CHORESベンチマークでは、VLLRは事前訓練されたポリシーよりも最大56%の絶対的な成功率を達成する。
  論文  参考訳（メタデータ） (2026-03-31T02:05:07Z)
• Improving Large Language Model Planning with Action Sequence Similarity [50.52049888490524]
  本研究では,インコンテキスト学習(ICL)によるモデル計画能力の向上について検討する。 GRASE-DC は2段階のパイプラインで,まず高効率のAS例を再サンプリングし,選択した例をキュレートする。 実験の結果,GRASE-DCは様々な計画タスクにおいて大幅な性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-05-02T05:16:17Z)
• Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success [100.226572152954]
  視覚言語アクションモデル(VLA)のための最適化された微調整レシピを提案する。 われわれのレシピはOpenVLAの4つのタスクスイートの平均成功率を76.5%から97.1%に引き上げ、アクション生成のスループットを26$times$に向上させた。 実世界の評価において、我々の微調整のレシピにより、OpenVLAはバイマガルALOHAロボット上でデクスタラスで高周波な制御タスクをうまく実行することができる。
  論文  参考訳（メタデータ） (2025-02-27T00:30:29Z)
• GRAPE: Generalizing Robot Policy via Preference Alignment [58.419992317452376]
  GRAPE: 優先度アライメントによるロボット政策の一般化について述べる。 GRAPEはドメイン内および未確認操作タスクにおける成功率をそれぞれ51.79%、58.20%向上させる。 GRAPEは安全性や効率、衝突速度の37.44%、ロールアウト長さの11.15%といった様々な目標に合わせることができる。
  論文  参考訳（メタデータ） (2024-11-28T18:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。