論文の概要: Catch Me If You Can: Real-Time Feedback Denoising for Responsive VLAs
- arxiv url: http://arxiv.org/abs/2609.21022v1
- Date: Thu, 17 Sep 2026 19:20:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.762784
- Title: Catch Me If You Can: Real-Time Feedback Denoising for Responsive VLAs
- Title(参考訳): もし可能ならば、VLAにリアルタイムフィードバックをデノベートする
- Abstract要約: 拡散に基づくアクションジェネレータは、時間的コヒーレントなアクションチャンクをモデル化するのに特に有効である。
本稿では,低周波拡散計画と高周波視覚フィードバックを組み合わせた2段階のアーキテクチャであるVLA-Feedbackを提案する。
- 参考スコア(独自算出の注目度): 3.2653790770825695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models have shown strong generalization in robotic manipulation by combining semantic knowledge from pretrained vision-language models with expressive action-generation policies. Diffusion-based action generators are particularly effective for modeling temporally coherent action chunks, but these chunks are typically executed open-loop after inference. This limits responsiveness when objects move, contacts change, or the scene evolves during execution. We propose VLA-Feedback, a two-timescale architecture that combines low-frequency diffusion planning with high-frequency visual feedback. Rather than fully denoising an action chunk before execution, VLA-Feedback retains its final denoising step as a lightweight feedback interface, allowing each action to be corrected using the latest observation before it is executed. This design preserves the expressiveness of the diffusion planner while enabling real-time action correction without rerunning the full vision-language diffusion model. VLA-Feedback matched GR00T on static LIBERO tasks while improving average success on dynamic simulation tasks from 27.5% to 85.0%. On real-robot tasks, it improved average success from 51% to 73%. Additional materials can be found on our project page: https://vla-feedback.github.io.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは、事前訓練された視覚言語モデルからのセマンティック知識と表現力のあるアクション生成ポリシーを組み合わせることで、ロボット操作の強力な一般化を示している。
拡散に基づくアクションジェネレータは、時間的コヒーレントなアクションチャンクをモデル化するのに特に有効であるが、これらのチャンクは通常、推論後にオープンループで実行される。
これにより、オブジェクトが動き、接触が変化したり、実行中にシーンが進化したりするときの応答性が制限される。
本稿では,低周波拡散計画と高周波視覚フィードバックを組み合わせた2段階のアーキテクチャであるVLA-Feedbackを提案する。
VLA-Feedbackは、実行前にアクションチャンクを完全に飾るのではなく、軽量なフィードバックインターフェースとして最後のデノイングステップを保持し、実行前に各アクションを最新の観察を使って修正することができる。
この設計は、フルビジョン言語拡散モデルを再実行することなく、リアルタイムな動作補正を可能にしながら、拡散プランナの表現性を保っている。
VLA-Feedbackは静的LIBEROタスクのGR00Tと一致し、動的シミュレーションタスクの平均成功率は27.5%から85.0%に改善した。
実際のロボットタスクでは、平均成功率は51%から73%に向上した。
追加の資料はプロジェクトのページにある。
関連論文リスト
- VAMPO: Policy Optimization for Improving Visual Dynamics in Video Action Models [46.94937828558026]
政策最適化により映像アクションモデルにおける視覚力学を直接改善する後学習フレームワークであるVAMPOを提案する。
私たちのキーとなるアイデアは、シーケンシャルな決定プロセスとしてマルチステップの認知を定式化し、専門家の視覚力学上で定義された認知の報酬を最適化することです。
多様なシミュレートされた実世界の操作タスクにまたがって、VAMPOはタスク関連視覚力学を改善し、より下流でのアクション生成とより強力な一般化をもたらす。
論文 参考訳(メタデータ) (2026-03-19T18:04:03Z) - ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。
具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。
本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
論文 参考訳(メタデータ) (2026-01-23T11:31:07Z) - Robotic VLA Benefits from Joint Learning with Motion Image Diffusion [114.60268819583017]
VLA(Vision-Language-Action)モデルは、マルチモーダルな観察と指示を直接行動にマッピングすることで、ロボット操作において顕著な進歩を遂げた。
動き推論機能を備えたVLAモデルを強化する新しい戦略である動き画像拡散を用いた共同学習を提案する。
シミュレーションと実世界の両方の環境での実験により、モーション画像拡散による共同学習がpiシリーズVLAの成功率を97.5%に向上させることが示された。
論文 参考訳(メタデータ) (2025-12-19T19:07:53Z) - Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process [48.63424123606625]
視覚言語アクション(VLA)モデルは、自然言語の指示や視覚的な観察を理解することを目的としている。
最近の研究は、将来のイメージを理解作用ループに統合し、共同で理解し、生成し、行動する統合されたVLAを生成する。
性能と効率を最適化する2段階のトレーニングパイプラインと,いくつかの推論時間技術を提案する。
論文 参考訳(メタデータ) (2025-11-03T16:26:54Z) - Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies [62.653984010274485]
VLA(Vision-Language-Action)モデルは、画像や命令をロボットアクションにマッピングするために、大きな視覚言語バックボーンを適応させる。
prevailingAsは、固定された左から右への順序で自動回帰的にアクションを生成するか、バックボーンの外側で分離または拡散ヘッドをアタッチする。
本稿では離散拡散を伴う離散化作用チャンクをモデル化する統一変換器ポリシである離散拡散VLAを提案する。
論文 参考訳(メタデータ) (2025-08-27T17:39:11Z) - CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。
CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。
これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
論文 参考訳(メタデータ) (2025-06-24T17:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。