論文の概要: GRAFT: Grounded and Efficient Online Reinforcement Adaptation for Fine-Grained Robot Manipulation
- arxiv url: http://arxiv.org/abs/2608.27079v2
- Date: Fri, 28 Aug 2026 02:06:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 15:11:36.100846
- Title: GRAFT: Grounded and Efficient Online Reinforcement Adaptation for Fine-Grained Robot Manipulation
- Title(参考訳): GRAFT:細粒度ロボットマニピュレーションのためのオンライン強化適応
- Abstract要約: GRAFTは、接地認識による効率的なオンラインVLA適応のためのフレームワークである。
適合予算の下では成功率を32.5ポイント向上させる。
- 参考スコア(独自算出の注目度): 2.3598414000298926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained vision-language-action (VLA) policies provide strong priors for robot manipulation, yet adapting them online to fine-grained biomedical tasks remains challenging. Task success often hinges on subtle, view-dependent visual cues, while task-level rewards provide little guidance about which regions matter, making it difficult to learn task-relevant visual grounding from limited real-robot interaction. Online adaptation is further constrained by the computational cost of VLA inference and replay-based updates. We introduce GRAFT (Grounded Reinforcement Adaptation for Fast Task Learning), a framework for efficient online VLA adaptation through grounded perception. GRAFT uses region-level supervision to learn view-specific visual anchors that focus perception on task-relevant local cues without requiring region proposals at deployment. It further combines single-step action generation with cached visual-language prefix reuse to accelerate online learning. Across four biomedical manipulation tasks, GRAFT improves success rates by 32.5 percentage points under matched adaptation budgets, while reducing the computational overhead of online policy updates.
- Abstract(参考訳): 事前訓練された視覚-言語-アクション(VLA)ポリシーは、ロボット操作の強い先駆者を提供するが、細粒度のバイオメディカルなタスクにそれらをオンラインで適応することは依然として困難である。
タスクの成功はしばしば、微妙でビューに依存した視覚的手がかりに依存し、タスクレベルの報酬は、どの領域が重要かについてのガイダンスをほとんど提供しない。
オンライン適応は、VLA推論とリプレイベースの更新の計算コストによってさらに制限される。
GRAFT(Grounded Reinforcement Adaptation for Fast Task Learning, GRAFT)は,接地認識による効率的なオンラインVLA適応のためのフレームワークである。
GRAFTは、リージョンレベルの監視を使用して、デプロイメント時にリージョンの提案を必要とせずに、タスク関連ローカルキューに対する認識に焦点を当てた、ビュー固有の視覚アンカーを学習する。
さらに、オンライン学習を加速するために、シングルステップアクション生成とキャッシュされたビジュアル言語プレフィックスの再利用を組み合わせる。
4つのバイオメディカルな操作タスクの中で、GRAFTは適合した適応予算の下で成功率を32.5ポイント改善し、オンラインポリシー更新の計算オーバーヘッドを低減した。
関連論文リスト
- Adapting Generalist Robot Policies with Semantic Reinforcement Learning [59.009122725071386]
ジェネラリストロボットポリシーは、大規模な事前訓練から多様な行動のレパートリーを学ぶ。
本稿では,オンラインインタラクションを通じて,このプロンプト空間を最適化するためのセマンティック・アクション強化学習(SARL)を提案する。
我々は、SARLが基本的に新しい機能をアンロックしていることを示します。
論文 参考訳(メタデータ) (2026-06-30T17:00:33Z) - Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance [108.46436073194546]
効果的なプランニングは、ローカルで、視覚的に基礎があり、内部で生成され、アクションと直接整合するべきである、と私たちは主張する。
本稿では,タスク条件付きアベイランスをVLAモデル内で明示的な視覚的計画インターフェースとして内包する統合フレームワークであるAfford-VLAを提案する。
論文 参考訳(メタデータ) (2026-05-22T20:43:47Z) - VLGOR: Visual-Language Knowledge Guided Offline Reinforcement Learning for Generalizable Agents [14.848584432075285]
大規模言語モデル(LLM)と強化学習(RL)により、エージェントはタスク実行のために言語命令をより効率的に解釈できる。
本稿では,視覚知識と言語知識を統合し,仮想ロールアウトを生成するフレームワークであるVisual-Language Knowledge-Guided Offline Reinforcement Learning (VLGOR)を提案する。
ロボット操作ベンチマークの実験では、VLGORは新たな最適ポリシーを必要とする未確認タスクのパフォーマンスを著しく改善し、ベースライン法よりも24%以上の成功率を達成した。
論文 参考訳(メタデータ) (2026-03-24T07:40:30Z) - Emulating Human-like Adaptive Vision for Efficient and Flexible Machine Visual Perception [93.20637973889434]
本稿では、"パッシブ"から"アクティブ"ビジョンモデルへのパラダイムシフトを促進するための一般的なフレームワークであるAdaptiveNNを紹介する。
AdaptiveNNは、視覚知覚を粗い連続的な意思決定プロセスとして定式化する。
アダプティブNNは、大規模な視覚認識、きめ細かい識別、視覚検索、実際の運転と医療シナリオからの画像処理を含む、9つのタスクにまたがる17のベンチマークで評価する。
論文 参考訳(メタデータ) (2025-09-18T18:25:43Z) - Policy Learning from Large Vision-Language Model Feedback without Reward Modeling [19.48826538310603]
本稿では,大規模視覚言語モデル(VLM)を活用し,エージェント訓練のためのガイダンス信号を提供するPLAREを紹介する。
手動で設計した報酬関数に頼る代わりに、PLAREは視覚軌道セグメントのペアの優先ラベルに対してVLMをクエリする。
このポリシーは、教師付きコントラスト的選好学習目標を用いて、これらの選好ラベルから直接訓練される。
論文 参考訳(メタデータ) (2025-07-31T10:07:49Z) - ManipLVM-R1: Reinforcement Learning for Reasoning in Embodied Manipulation with Large Vision-Language Models [26.955482205849282]
LVLM(Large Vision-Language Models)は近年,視覚をシーン認識や言語に活用してロボット操作を進化させた。
本稿では,従来の指導をRLVR(Verifiable Rewards)を用いた強化学習に置き換える新しい強化学習フレームワークであるManipLVM-R1を提案する。
論文 参考訳(メタデータ) (2025-05-22T10:57:07Z) - ReGUIDE: Data Efficient GUI Grounding via Spatial Reasoning and Search [53.40810298627443]
ReGUIDEは、MLLMが自己生成的推論と空間認識的批判を通じてデータを効率的に学習することを可能にするWebグラウンドのためのフレームワークである。
実験により、ReGUIDEは複数のベンチマークでWebグラウンド性能を大幅に向上することが示された。
論文 参考訳(メタデータ) (2025-05-21T08:36:18Z) - Pre-trained Visual Dynamics Representations for Efficient Policy Learning [33.62440075940917]
本稿では,ビデオと下流タスク間の領域ギャップを埋めて効率的なポリシー学習を実現するために,事前学習型ビジュアルダイナミクス表現(PVDR)を提案する。
事前訓練された視覚力学表現は、ビデオの知識以前の視覚力学をキャプチャする。
この抽象的な事前知識は、ダウンストリームタスクに容易に適応でき、オンライン適応を通じて実行可能なアクションと整合することができる。
論文 参考訳(メタデータ) (2024-11-05T15:18:02Z) - CAVL: Learning Contrastive and Adaptive Representations of Vision and
Language [10.57079240576682]
視覚的および言語的事前学習は、視覚と言語表現を一緒に学習することを目的としている。
現在の事前訓練されたモデルでは、下流のタスクに転送する際、微調整のために多くの計算資源を必要とする傾向にある。
我々は、視覚と言語、すなわちCAVLのコントラスト表現と適応表現の学習に、シンプルだが効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-04-10T05:54:03Z) - Fine-grained Visual-Text Prompt-Driven Self-Training for Open-Vocabulary
Object Detection [87.39089806069707]
オープン語彙検出(VTP-OVD)のための微粒なビジュアルテキストプロンプト駆動型自己学習パラダイムを提案する。
適応段階では、学習可能なテキストプロンプトを用いて細粒度アライメントを可能とし、補助的なピクセルワイズ予測タスクを解決する。
実験の結果,COCO の未確認クラスでは,31.5% mAP など,オープン語彙オブジェクト検出の最先端性能が得られた。
論文 参考訳(メタデータ) (2022-11-02T03:38:02Z) - Towards Learning a Generic Agent for Vision-and-Language Navigation via
Pre-training [150.35927365127176]
視覚・言語ナビゲーション(VLN)タスクのための,最初の事前学習および微調整パラダイムを提案する。
自己教師付き学習方式で大量の画像-テキスト-アクション三つ子を訓練することにより、事前学習されたモデルは、視覚環境と言語命令の一般的な表現を提供する。
新たなタスクにおいてより効果的に学習し、以前は目に見えない環境でより良く一般化する。
論文 参考訳(メタデータ) (2020-02-25T03:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。