論文の概要: Look Before You Act: Bridging Active Perception and Vision-Language-Action Models via Observation-Aligned Data Adaptation
- arxiv url: http://arxiv.org/abs/2610.23378v1
- Date: Fri, 16 Oct 2026 12:33:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.91339
- Title: Look Before You Act: Bridging Active Perception and Vision-Language-Action Models via Observation-Aligned Data Adaptation
- Title（参考訳）: 行動の前に見る:観測データ適応によるアクティブ知覚と視覚言語行動モデル
- Abstract要約: アクティブカメラの動きは、隠されたターゲットを露出することができるが、操作ポリシーのトレーニング分布とは異なる初期観測状態の分布にロボットを移動させる可能性がある。
アクティブな知覚が終了する状態からビジョン・ランゲージ・アクションポリシーをトレーニングするデータ適応フレームワークであるActiveAlignを紹介する。
- 参考スコア（独自算出の注目度）: 26.983027384593385
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robots manipulating objects in clutter must decide not only how to act, but also where to look. Although active camera motion can expose an occluded target, it may move the robot into an initial observation-state distribution that differs from the manipulation policy's training distribution. We identify this problem as first-frame distribution sensitivity: under perturbed starts in LIBERO, naively prepending camera repositioning to pi_0.5 reduces success from 46.3% to 11.5%. We introduce ActiveAlign, a data-adaptation framework that trains a Vision-Language-Action (VLA) policy from the states at which active perception terminates. A learned viewpoint module first generates a camera trajectory. Offline, ActiveAlign uses closed-loop alignment to connect the trajectory endpoint to an existing demonstration, replays the remaining manipulation trajectory, and retains successful continuations for fine-tuning. At deployment, the same viewpoint module precedes the adapted VLA without modifying its architecture. Across 40 LIBERO tasks, ActiveAlign achieves 70.7% success with pi_0 and 72.7% with pi_0.5, outperforming their standard-training baselines by 40.0% and 26.4% respectively. Matched-state and data-matched controls support gains beyond prefix shortening and generic viewpoint augmentation; OpenVLA and GR00T N1 also show the same trend. Success rate under physical occlusion in real world increases from 35/90 to 83/90. These results show that active perception benefits manipulation when policy training is aligned with the observation and robot-state distribution induced by viewpoint selection.
- Abstract（参考訳）: 物体を操作するロボットは、動作の仕方だけでなく、見える場所も決めなければならない。
アクティブカメラの動きは、隠蔽されたターゲットを露出することができるが、操作ポリシーのトレーニング分布とは異なる初期観測状態の分布にロボットを移動させる可能性がある。
LIBERO の摂動開始時に pi_0.5 への入射前カメラ再配置は 46.3% から 11.5% に低下する。
我々は、アクティブな知覚が終了する州からビジョン・ランゲージ・アクション(VLA)ポリシーを訓練するデータ適応フレームワークであるActiveAlignを紹介する。
学習された視点モジュールは、まず、カメラ軌道を生成する。
オフラインでは、ActiveAlignはクローズドループアライメントを使用して、トラジェクトリエンドポイントを既存のデモに接続し、残りの操作トラジェクトリを再生し、微調整で成功した継続を維持する。
デプロイ時には、同じ視点モジュールがアーキテクチャを変更することなく、適応されたVLAに先行する。
40のLIBEROタスクで、ActiveAlignは、pi_0で70.7%、pi_0.5で72.7%成功し、それぞれ標準トレーニングベースラインを40.0%、26.4%上回った。
OpenVLAとGR00T N1も同様の傾向を示している。
実世界での物理的閉塞下での成功率は35/90から83/90に増加した。
これらの結果から,視点選択によって誘導される観察とロボット状態の分布にポリシートレーニングが整合している場合,アクティブな知覚が操作に有効であることが示唆された。
関連論文リスト
- Learning Foresight without Explicit Trajectories for 3D Diffusion Policies [54.692734738738885]
3次元拡散ポリシは、現在の観測から幾何学的に基底化されたアクションを生成するのに強い。
我々は,この予測を明示的な計画を導入することなく,シンプルかつ効果的な手段である運動傾向ガイダンスを導入する。
正確にどこに移動すべきかを告げることなく、相互作用がどこに向かっているかを知ることで、大きなメリットを享受できることを、私たちは示しています。
論文 参考訳（メタデータ） (2026-09-17T16:44:13Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳（メタデータ） (2026-09-17T01:24:51Z) - GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。
制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。
それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
論文 参考訳（メタデータ） (2026-09-04T17:16:48Z) - LM-X: Explainable Action Modeling with Progress, Event, and Uncertainty Prediction for Generalist Robot Manipulation [28.431160101245837]
一般視覚-言語行動(VLA)政策は、主に短期水平行動予測を通じて長期水平行動を学ぶ。
我々は,解剖学的対応を主張することなく,タスク,イベント,運動の規模にわたって予測を整理するLM-Xを紹介する。
論文 参考訳（メタデータ） (2026-08-26T13:05:29Z) - On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳（メタデータ） (2026-08-25T14:55:24Z) - Act with Intent: Distilling Behavior Intent for Vision-Language-Action Models [15.173629384871013]
VLA(Vision-Language-Action)モデルは、マルチモーダルコンテキストをロボットアクションに変換することができるが、そのアクションデコーダは行動クローニングによって主に訓練されている。
Intention Distillation (INDI) を提案する。
論文 参考訳（メタデータ） (2026-08-24T16:42:49Z) - Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting [4.473350810262674]
身体的移動操作には、言語、視覚的観察、3次元のシーン構造、実行前にアライメントされる動作の実現性が必要である。
本研究では,局所的な作業空間における少数ショット操作によるオープンボキャブラリターゲットグラウンドディングについて検討し,具体化されたマルチモーダルグラウンドディングフレームワークを提案する。
タスク駆動のローカルセマンティック3DGSは、アクティブセンシング、言語条件の3Dローカライゼーション、障害物認識シーン推論、ベース準備、アクションモデルのセマンティックコンディショニングをまたいだ共有インターフェースとして機能する。
論文 参考訳（メタデータ） (2026-08-11T10:16:30Z) - Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。
本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。
我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文 参考訳（メタデータ） (2026-02-23T11:00:08Z) - Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。
GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。
LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
論文 参考訳（メタデータ） (2026-02-22T15:39:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。