論文の概要: A Practical Stereo Depth System for Smart Glasses
- arxiv url: http://arxiv.org/abs/2211.10551v1
- Date: Sat, 19 Nov 2022 01:01:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 19:59:59.323882
- Title: A Practical Stereo Depth System for Smart Glasses
- Title(参考訳): スマートグラスの実用的ステレオ深度システム
- Authors: Jialiang Wang, Daniel Scharstein, Akash Bapat, Kevin Blackburn-Matzen,
Matthew Yu, Jonathan Lehman, Suhib Alsisan, Yanghan Wang, Sam Tsai,
Jan-Michael Frahm, Zijian He, Peter Vajda, Michael F. Cohen, Matt Uyttendaele
- Abstract要約: 本稿では,事前処理,オンラインステレオ修正,ステレオ深度推定を行う生産型エンドツーエンドステレオ深度検知システムを提案する。
深度検知システムの出力は、新しいビュー生成パイプラインで使われ、3次元の計算写真効果が生成される。
トレーニングされたモデルは高速で、6歳のSamsung Galaxy S8のCPU上では1秒未満で動作します。
- 参考スコア(独自算出の注目度): 27.010252082820017
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present the design of a productionized end-to-end stereo depth sensing
system that does pre-processing, online stereo rectification, and stereo depth
estimation with a fallback to monocular depth estimation when rectification is
unreliable. The output of our depth sensing system is then used in a novel view
generation pipeline to create 3D computational photography effect using
point-of-view images captured by smart glasses. All these steps are executed
on-device on the stringent compute budget of a mobile phone, and because we
expect the users can use a wide range of smartphones, our design needs to be
general and cannot be dependent on a particular hardware or ML accelerator such
as a smartphone GPU. Although each of these steps is well-studied, a
description of a practical system is still lacking. For such a system, each of
these steps need to work in tandem with one another and fallback gracefully on
failures within the system or less than ideal input data. We show how we handle
unforeseen changes to calibration, e.g. due to heat, robustly support depth
estimation in the wild, and still abide by the memory and latency constraints
required for a smooth user experience. We show that our trained models are
fast, that run in less than 1s on a six-year-old Samsung Galaxy S8 phone's CPU.
Our models generalize well to unseen data and achieve good results on
Middlebury and in-the-wild images captured from the smart glasses.
- Abstract(参考訳): 本稿では, 事前処理, オンラインステレオ修正, ステレオ深度推定を, 信頼性の低いモノクロ深度推定にフォールバックして行う, エンド・ツー・エンドのステレオ深度検知システムの設計について述べる。
深度検知システムの出力は、新しいビュー生成パイプラインで、スマートグラスが捉えたポイント・オブ・ビュー画像を用いて3次元の計算写真効果を生成する。
これらのステップはすべて、携帯電話の厳格な計算予算でオンデバイスで実行されます。ユーザが幅広いスマートフォンを使用できると期待しているため、私たちの設計は汎用的で、スマートフォンGPUのような特定のハードウェアやMLアクセラレーションに依存しない必要があります。
これらのステップは十分に研究されているが、実際的なシステムの記述はまだ欠けている。
このようなシステムでは、これらのステップは互いに相互に連携して動作し、システム内の障害や理想的な入力データよりも適切にフォールバックする必要がある。
例えば、熱によるキャリブレーションの予期せぬ変更の処理方法、ワイルドでの深さ推定の堅牢なサポート、スムーズなユーザエクスペリエンスに必要なメモリとレイテンシの制約などを示します。
トレーニングされたモデルは高速で、6歳のSamsung Galaxy S8のCPU上では1秒未満で動作します。
われわれのモデルは、見当たらないデータに対してよく一般化し、ミドルベリーやスマートグラスから捉えた画像の良好な結果が得られる。
関連論文リスト
- MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳(メタデータ) (2024-04-01T04:57:41Z) - SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [65.64958606221069]
マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。
360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。
重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
論文 参考訳(メタデータ) (2024-02-19T02:41:37Z) - Towards High-Frequency Tracking and Fast Edge-Aware Optimization [2.2662585107579165]
この論文は、AR/VRトラッキングシステムのトラッキング周波数を桁違いに増加させることにより、AR/VRトラッキングシステムの最先端技術である。
エッジ認識最適化問題に対する効率的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-02T01:20:34Z) - Towards Accurate Reconstruction of 3D Scene Shape from A Single
Monocular Image [91.71077190961688]
まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。
次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。
我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-08-28T16:20:14Z) - Self-Supervised Depth Completion for Active Stereo [55.79929735390945]
アクティブステレオシステムは、低コストで高品質な深度マップのため、ロボット産業で広く利用されている。
これらの深度センサーはステレオアーチファクトに悩まされており、密度の深い深度推定を提供していない。
本稿では, 高精度な深度マップを推定するアクティブステレオシステムのための, 自己監督型深度補完法を提案する。
論文 参考訳(メタデータ) (2021-10-07T07:33:52Z) - StereoSpike: Depth Learning with a Spiking Neural Network [0.0]
深度推定のためのエンドツーエンドのニューロモルフィック手法を提案する。
我々はSpiking Neural Network (SNN) と、StereoSpikeという名前のU-Netライクなエンコーダデコーダアーキテクチャを用いている。
このアーキテクチャは、スポーキング以外のアーキテクチャよりも、非常によく一般化されていることを実証します。
論文 参考訳(メタデータ) (2021-09-28T14:11:36Z) - One Shot 3D Photography [40.83662583097118]
本稿では,3D画像の作成と閲覧を行うエンド・ツー・エンドシステムを提案する。
私たちの3D写真は1枚の写真で撮影され、モバイルデバイスで直接処理されます。
論文 参考訳(メタデータ) (2020-08-27T17:59:31Z) - Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。
Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。
本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
論文 参考訳(メタデータ) (2020-07-30T09:21:04Z) - Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。
本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。
その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
論文 参考訳(メタデータ) (2020-06-04T08:59:17Z) - Du$^2$Net: Learning Depth Estimation from Dual-Cameras and Dual-Pixels [16.797169907541164]
本稿では,デュアルカメラのステレオとデュアルピクセルセンサのステレオを組み合わせた深度推定のためのニューラルネットワークに基づく新しいアプローチを提案する。
我々のネットワークは、2つの情報ソースを融合するために新しいアーキテクチャを使用し、純粋な双眼鏡ステレオマッチングの限界を克服することができる。
論文 参考訳(メタデータ) (2020-03-31T15:39:43Z) - Deep Learning Stereo Vision at the edge [0.0]
本稿では,システム・オン・チップに適した新しいステレオ・ビジョン・ソリューションを構築するための方法論の概要を紹介する。
この新しいソリューションは、電力制約のある環境にある組み込みデバイスにコンピュータビジョン能力をもたらすために開発された。
論文 参考訳(メタデータ) (2020-01-13T22:30:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。