論文の概要: FoveaVLA: Foveation Actions Replace the Wrist Camera in VLAs

• arxiv url: http://arxiv.org/abs/2610.20064v2
• Date: Wed, 21 Oct 2026 14:34:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:05.952413
• Title: FoveaVLA: Foveation Actions Replace the Wrist Camera in VLAs
• Title（参考訳）: FoveaVLA:VLAでカメラを交換する「FoveaVLA」
• Abstract要約: 本稿では、手首カメラを学習されたファベーション動作に置き換えるビジョン・ランゲージ・アクションモデルであるFoveaVLAを提案する。 ワイストカメラはクローズアップの詳細を提供するが、視野をエンドエフェクターの周囲に制限する。 外部カメラは 現場全体が見えるが ポリシーは 解像度が低いので 操作に要する詳細は 失われる
• 参考スコア（独自算出の注目度）: 18.656982941739155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present FoveaVLA, a Vision-Language-Action (VLA) model that replaces the wrist camera with learned foveation actions. Wrist cameras provide close-up detail but restrict the view to the end-effector's surroundings. External cameras see the whole scene, but the policy receives them at low resolution, so the fine detail needed for manipulation is lost. FoveaVLA recovers this detail by predicting, alongside each action chunk, the interaction region to observe at the next policy query. The policy then receives crops of these regions, taken from the original-resolution images, together with the full views. We build FoveaVLA on $π_{0.5}$ in two configurations, Single and Dual, using one or two external stereo cameras with full and foveal RGB and depth inputs, and post-train both on DROID with RoboInter interaction annotations. Across four real-world task suites, FoveaVLA-Single achieves 70.8% success with one external RGB-D view, and FoveaVLA-Dual achieves 77.1%, versus 52.1% for the wrist-equipped $π_{0.5}$. Both match the baseline on plain pick-and-place and improve success with distractors, cloth manipulation, and far-away objects.
• Abstract（参考訳）: 本稿では、手首カメラを学習されたファーベーションアクションに置き換えるビジョン・ランゲージ・アクション(VLA)モデルであるFoveaVLAを提案する。 ワイストカメラはクローズアップの詳細を提供するが、視野をエンドエフェクターの周囲に制限する。 外部カメラはシーン全体を見ることができるが、ポリシーはそれらを低解像度で受信するので、操作に必要な細部は失われる。 FoveaVLAはこの詳細を,各アクションチャンクと合わせて,次のポリシクエリで監視するインタラクションリージョンを予測することによって回復する。 ポリシーは、元の解像度画像から得られたこれらの領域の作物を、全体像とともに受信する。 π_{0.5}$のFoveaVLAをSingleとDualの2つの構成で構築し、完全なRGBと深度入力を備えた1つまたは2つの外部ステレオカメラとRoboInterの対話アノテーションを用いたDROIDのポストトレーニングを行った。 4つの現実世界のタスクスイートの中で、FoveaVLA-Singleは1つの外部RGB-Dビューで70.8%の成功を収め、FoveaVLA-Dualは77.1%、手首に装備された$π_{0.5}$では52.1%を達成した。 どちらも平らなピック・アンド・プレイスのベースラインと一致し、邪魔者、布の操作、遠距離の物体で成功を収める。

関連論文リスト

• WARP-VLA: Wrist-Camera Adaptation for View-Robust Policy Execution in Vision-Language-Action Models [21.43575545487911]
  WARP-VLA(WARP-VLA)は、様々な手首カメラ構成用のカメラビューロバストなVLAである。 WARP-VLA は pi-0.5 の平均成功率を 39.2% から 78.3% に改善することを示した。
  論文  参考訳（メタデータ） (2026-10-08T08:44:26Z)
• EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras [74.35470013990918]
  EyeRobot 2.0は、現場の3D固定点に物理的に近づき、2つの視点で視線を照らす。 我々はEyeRobot 2.0と受動ステレオとego+手首カメラのポリシーを比較した。
  論文  参考訳（メタデータ） (2026-10-02T17:57:51Z)
• Fisheye-VLA: Decoupling Coverage and Acuity for Manipulation with a Single Fisheye Camera [9.90190783083934]
  魚眼-VLA(魚眼-VLA:魚眼-VLA:魚眼-VLA)は、単一の受動的魚眼でこれらの機能を結合する視覚インターフェースである。 グローバルビューはワークスペースを保存し、ローカルビューはインタラクションに向けて直接詳細をトリミングする。 その結果、1匹の魚眼が物理的な手首カメラを使わずにこれらの操作タスクをサポートできることが証明された。
  論文  参考訳（メタデータ） (2026-09-22T06:44:43Z)
• Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies [4.9948584685520805]
  固定シーンカメラから微調整されたポリシーは、タスク、オブジェクト、言語、ロボットの状態が変化しても、カメラが動いたときに失敗する可能性がある。 シーンRGB画像,言語,プロプレセプションのみを用いてシーンカメラの視点を,カメララベル,外在性,深度,ポイントクラウド入力なしで研究する。 我々は、元のLIBEROデモを同じ MuJoCo 状態にリセットし、名目と乱れたシーンカメラビューをレンダリングすることで、アクション等価なビューペアを構築する。
  論文  参考訳（メタデータ） (2026-08-07T08:41:31Z)
• Multi-View Unified Camera Fields: Geometry-Shaped Action-Facing Representations for RGB-Only Multi-Camera VLA Policies [12.27577524307746]
  Multi-View Unified Camera Fields (MVUCF) は、ビューをまたいだ共有アクション対応潜在フィールドを形成するトレーニング専用フレームワークである。 ジオメトリインジェクション、奥行き、カメラキャリブレーション、補助ヘッドが取り除かれた後、配置は、追加の推論FLOPを持たない元のRGBのみのグラフを使用する。
  論文  参考訳（メタデータ） (2026-08-03T07:36:09Z)
• Robostral Navigate [138.74472687550374]
  Robostral Navigateは、大規模なナビゲーションシステムのための視覚言語モデルである。 モノラルなRGB画像のストリームのみを消費し、現在のカメラビューの次のターゲット位置を指して、ウェイポイントを予測する。 我々は、実世界のデータ収集への依存を減らすため、350kのシミュレートされたシーンに240万のトラジェクトリを生成します。
  論文  参考訳（メタデータ） (2026-07-22T23:13:05Z)
• From Fixed to Free Cameras: Calibration-Free View-Robust Vision-Language-Action Model [72.8641426724502]
  カメラ中心型VLA(CamVLA)は、カメラ幾何学から制御を分離する新しいVLAモデルである。 CamVLAは、さまざまな見当たらない視点での成功率を継続的に改善する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:59Z)
• SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [65.64958606221069]
  マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。 360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。 重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T02:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。