論文の概要: Fisheye-VLA: Decoupling Coverage and Acuity for Manipulation with a Single Fisheye Camera
- arxiv url: http://arxiv.org/abs/2609.25750v1
- Date: Tue, 22 Sep 2026 06:44:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.2417
- Title: Fisheye-VLA: Decoupling Coverage and Acuity for Manipulation with a Single Fisheye Camera
- Title(参考訳): Fisheye-VLA:一眼カメラによるマニピュレーションのためのカバーとキューティの分離
- Abstract要約: 魚眼-VLA(魚眼-VLA:魚眼-VLA:魚眼-VLA)は、単一の受動的魚眼でこれらの機能を結合する視覚インターフェースである。
グローバルビューはワークスペースを保存し、ローカルビューはインタラクションに向けて直接詳細をトリミングする。
その結果、1匹の魚眼が物理的な手首カメラを使わずにこれらの操作タスクをサポートできることが証明された。
- 参考スコア(独自算出の注目度): 9.90190783083934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Manipulation requires both broad scene awareness and detailed local feedback, yet conventional camera rigs provide them through separate front and wrist cameras. We present Fisheye-VLA, a visual interface that brings these capabilities together using a single passive fisheye. A global view preserves the workspace, while local perspective crops direct detail toward the interaction. The key design question is where this local visual budget should go. We answer it through a controlled re-rendering study, comparing alternative crop directions on the same recorded observations. The study finds that end-effector-centered views capture most of the estimated benefit of a much larger candidate pool, motivating a compact allocation around both hands. Our interface uses calibrated end-effector projection and motion lead to track the crops, while a shared ray encoding preserves their spatial meaning as they move. Integrated with a pretrained VLA, it achieves 84% and 82% success in the two expanded tabletop regions, where some target placements extend beyond the front-camera coverage, and supports shelf and conveyor manipulation. Ablations show that local crops and their viewing directions become more important in the larger workspace regions. The results demonstrate that a single fisheye can support these manipulation tasks without physical wrist cameras.
- Abstract(参考訳): 操作には広いシーン認識と詳細なローカルフィードバックが必要であるが、従来のカメラリグは異なるフロントカメラと手首カメラを通してそれらを提供する。
魚眼-VLA(魚眼-VLA:魚眼-VLA:魚眼-VLA)は、単一の受動的魚眼でこれらの機能を結合する視覚インターフェースである。
グローバルビューはワークスペースを保存し、ローカルビューはインタラクションに向けて直接詳細をトリミングする。
重要な設計上の問題は、このローカルなビジュアル予算がどこに行くべきかだ。
我々は、制御された再レンダリング研究を通じて、同じ観測結果に基づいて、代替作物の方向を比較した。
この研究によると、エンドエフェクター中心のビューは、はるかに大きな候補プールの利点のほとんどを捉えており、両手にコンパクトなアロケーションを動機付けている。
我々のインターフェースは、作物を追尾するために調整された端エフェクター・プロジェクションとモーション・リードを使用し、共有光線符号化は移動する際に空間的意味を保存します。
事前訓練されたVLAと統合され、2つの拡張テーブルトップ領域で84%と82%の成功を達成し、いくつかのターゲット配置がフロントカメラの範囲を超えて拡張され、シェルフとコンベア操作をサポートする。
アブレーションは、大規模なワークスペース地域では、地元の作物とその視聴方向がより重要になることを示している。
その結果、1匹の魚眼が物理的な手首カメラを使わずにこれらの操作タスクをサポートできることが判明した。
関連論文リスト
- Rethinking Camera Choice: An Empirical Study on Fisheye Camera Properties in Robotic Manipulation [53.27191803311681]
我々は,手首に装着した魚眼カメラの特性を模倣学習のために厳密に分析した。
魚眼で訓練された政策は、十分な環境多様性で訓練された場合、優れた場面の一般化を解放する。
本研究は,ロボット学習における魚眼データセットの大規模収集と有効活用のための具体的かつ実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2026-03-02T18:00:37Z) - Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video [49.263724131046466]
本研究では,受動的シーン音が映像の相対的ポーズ推定に補助的手がかりとなることを示す。
そこで本稿では,DOAスペクトルと組込み型埋め込みを,最先端のポーズ推定モデルに組み込む,シンプルだが効果的な音声視覚フレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-13T04:14:52Z) - Multi-Camera Worker Tracking in Logistics Warehouse Considering Wide-Angle Distortion [0.32248482136498435]
本研究では,天井に設置した19個の広角カメラを用いて作業者の追跡を行い,物流倉庫の床を見下ろした。
これに対応するために、検出された各カメラの作業者位置は、足の位置に基づいて整列され、画像歪みの影響を低減した。
その結果,追跡精度は20%以上向上した。
論文 参考訳(メタデータ) (2025-10-22T10:00:40Z) - SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [65.64958606221069]
マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。
360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。
重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
論文 参考訳(メタデータ) (2024-02-19T02:41:37Z) - Applications of Deep Learning for Top-View Omnidirectional Imaging: A
Survey [2.1485350418225244]
大きな視野の魚眼カメラは、下向きの高位置に設置されている場合、最小限のカメラで大きな領域を撮影することができる。
このトップビュー全方位設定は、従来の複数の視点カメラによるソリューションと比較して、デプロイメントの作業とコストを大幅に削減します。
深層学習は、全方位設定を含む視覚関連タスクに広く利用されている。
論文 参考訳(メタデータ) (2023-04-17T12:06:41Z) - FishDreamer: Towards Fisheye Semantic Completion via Unified Image
Outpainting and Segmentation [33.71849096992972]
本稿では,魚眼画像の密接なテクスチャ,構造,意味を,センサ・フィールド・オブ・ビュー(FoV)を超えても推測する,魚眼セマンティック・コンプリート(FSC)の新たな課題を提起する。
そこで本研究では,Pola-Aware Cross Attention Module (PCA) によって拡張されたViTsを利用して,密集したコンテキストを活用し,意味的に一貫性のあるコンテンツ生成をガイドする新しいFishDreamerを提案する。
論文 参考訳(メタデータ) (2023-03-24T07:34:25Z) - 3D Moments from Near-Duplicate Photos [67.15199743223332]
3D Momentsは、新しい計算写真効果だ。
1枚目から2枚目までのシーンの動きを円滑に補間するビデオを作成する。
本システムは,モーションパララックスとシーンダイナミックスを併用したフォトリアリスティックな時空ビデオを生成する。
論文 参考訳(メタデータ) (2022-05-12T17:56:18Z) - SurroundDepth: Entangling Surrounding Views for Self-Supervised
Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。
具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。
実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-04-07T17:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。