論文の概要: Towards High-Frequency Tracking and Fast Edge-Aware Optimization
- arxiv url: http://arxiv.org/abs/2309.00777v1
- Date: Sat, 2 Sep 2023 01:20:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 01:15:54.329739
- Title: Towards High-Frequency Tracking and Fast Edge-Aware Optimization
- Title(参考訳): 高周波追従とエッジアウェア最適化に向けて
- Authors: Akash Bapat
- Abstract要約: この論文は、AR/VRトラッキングシステムのトラッキング周波数を桁違いに増加させることにより、AR/VRトラッキングシステムの最先端技術である。
エッジ認識最適化問題に対する効率的なアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 2.2662585107579165
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This dissertation advances the state of the art for AR/VR tracking systems by
increasing the tracking frequency by orders of magnitude and proposes an
efficient algorithm for the problem of edge-aware optimization.
AR/VR is a natural way of interacting with computers, where the physical and
digital worlds coexist. We are on the cusp of a radical change in how humans
perform and interact with computing. Humans are sensitive to small
misalignments between the real and the virtual world, and tracking at
kilo-Hertz frequencies becomes essential. Current vision-based systems fall
short, as their tracking frequency is implicitly limited by the frame-rate of
the camera. This thesis presents a prototype system which can track at orders
of magnitude higher than the state-of-the-art methods using multiple commodity
cameras. The proposed system exploits characteristics of the camera
traditionally considered as flaws, namely rolling shutter and radial
distortion. The experimental evaluation shows the effectiveness of the method
for various degrees of motion.
Furthermore, edge-aware optimization is an indispensable tool in the computer
vision arsenal for accurate filtering of depth-data and image-based rendering,
which is increasingly being used for content creation and geometry processing
for AR/VR. As applications increasingly demand higher resolution and speed,
there exists a need to develop methods that scale accordingly. This
dissertation proposes such an edge-aware optimization framework which is
efficient, accurate, and algorithmically scales well, all of which are much
desirable traits not found jointly in the state of the art. The experiments
show the effectiveness of the framework in a multitude of computer vision tasks
such as computational photography and stereo.
- Abstract(参考訳): この論文は,AR/VRトラッキングシステムにおけるトラッキング周波数を桁違いに増加させ,エッジ認識最適化問題に対する効率的なアルゴリズムを提案する。
AR/VRは、物理的世界とデジタル世界が共存するコンピュータと対話する自然な方法である。
我々は、人間がコンピューティングとどのように相互作用するかを根本的に変えようとしている。
人間は現実と仮想世界の小さな不一致に敏感であり、キロヘルツ周波数での追跡が不可欠である。
現在の視覚ベースのシステムは、追跡周波数がカメラのフレームレートによって暗黙的に制限されるため、短い。
本論文は,複数の商品カメラを用いた最先端手法よりも1桁高い精度で追跡できるプロトタイプシステムを提案する。
提案方式では従来, ローリングシャッターやラジアル歪みなどの欠陥としてカメラの特性を生かしている。
実験により, 種々の動きに対する手法の有効性が示された。
さらに、エッジアウェアの最適化は、深度データと画像ベースのレンダリングの正確なフィルタリングのためのコンピュータビジョンアーセナルにおいて欠かせないツールであり、AR/VRのコンテンツ作成や幾何学処理にますます使われている。
アプリケーションの解像度と速度が向上するにつれて、スケールする手法を開発する必要がある。
この論文は、効率的で正確でアルゴリズム的に拡張可能な、エッジ対応の最適化フレームワークを提案しており、これらは全て、技術の現状において共同で見つからない非常に望ましい特徴である。
実験は、計算写真やステレオなど、多数のコンピュータビジョンタスクにおけるフレームワークの有効性を示す。
関連論文リスト
- Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳(メタデータ) (2023-12-14T09:46:16Z) - Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended
Reality [65.70936336240554]
リアルタイムステレオマッチング(Real-time Stereo Matching)は、屋内3D理解、ビデオパススルー、混合現実感ゲームなど、多くの拡張現実感(XR)アプリケーションのための基盤となるアルゴリズムである。
最大の課題の1つは、ヘッドマウントのVR/ARメガネによってキャプチャされた高品質な屋内ビデオステレオトレーニングデータセットの欠如である。
室内シーンのレンダリングと6-DoF移動VR/ARヘッドマウントディスプレイ(HMD)によるリアルなカメラモーションを含む,新しいステレオ合成データセットを提案する。
これにより既存のアプローチの評価が促進され、屋内拡張現実シナリオのさらなる研究が促進される。
論文 参考訳(メタデータ) (2023-09-08T07:53:58Z) - A Flexible-Frame-Rate Vision-Aided Inertial Object Tracking System for
Mobile Devices [3.4836209951879957]
本稿では,モバイルデバイス用フレキシブルフレームレートオブジェクトポーズ推定とトラッキングシステムを提案する。
高速トラッキングのためにクライアント側で慣性計測ユニット(IMU)ポーズ伝搬を行い、サーバ側でRGB画像ベースの3Dポーズ推定を行う。
我々のシステムは120FPSまでのフレキシブルフレームレートをサポートし、ローエンドデバイス上での高精度かつリアルタイムなトラッキングを保証する。
論文 参考訳(メタデータ) (2022-10-22T15:26:50Z) - PUCK: Parallel Surface and Convolution-kernel Tracking for Event-Based
Cameras [4.110120522045467]
イベントカメラは、動的環境における高速な視覚センシングを保証できるが、ロボットのエゴモーションによって引き起こされる高いデータ速度に追従できる追跡アルゴリズムを必要とする。
本稿では,EROS(Exponential Reduced Ordinal Surface)データ表現を利用してイベント・バイ・イベント処理とトラッキングを分離する新しいトラッキング手法を提案する。
エアホッケーパックが表面を滑り落ちるのをトラッキングするタスクを提案し、将来はiCubロボットを正確に時間通りに目標に到達させることが目的である。
論文 参考訳(メタデータ) (2022-05-16T13:23:52Z) - Deep Learning for Real Time Satellite Pose Estimation on Low Power Edge
TPU [58.720142291102135]
本稿では,ニューラルネットワークアーキテクチャを利用したポーズ推定ソフトウェアを提案する。
我々は、低消費電力の機械学習アクセラレーターが宇宙での人工知能の活用を可能にしていることを示す。
論文 参考訳(メタデータ) (2022-04-07T08:53:18Z) - Towards Scale Consistent Monocular Visual Odometry by Learning from the
Virtual World [83.36195426897768]
仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。
まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。
結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
論文 参考訳(メタデータ) (2022-03-11T01:51:54Z) - Feeling of Presence Maximization: mmWave-Enabled Virtual Reality Meets
Deep Reinforcement Learning [76.46530937296066]
本稿では,無線モバイルユーザに対して,超信頼性でエネルギー効率のよいバーチャルリアリティ(VR)体験を提供するという課題について検討する。
モバイルユーザへの信頼性の高い超高精細ビデオフレーム配信を実現するために,コーディネートマルチポイント(CoMP)伝送技術とミリ波(mmWave)通信を利用する。
論文 参考訳(メタデータ) (2021-06-03T08:35:10Z) - Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。
我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。
その結果,小型歩行者の検出における本手法の有効性が示唆された。
論文 参考訳(メタデータ) (2020-08-19T13:13:01Z) - Accelerating Deep Learning Applications in Space [0.0]
拘束デバイス上でのCNNを用いた物体検出の性能について検討する。
我々は、Single Shot MultiBox Detector (SSD)とリージョンベースのFully Convolutional Network (R-FCN)について詳しく検討する。
性能は、推測時間、メモリ消費、精度で測定される。
論文 参考訳(メタデータ) (2020-07-21T21:06:30Z) - A Markerless Deep Learning-based 6 Degrees of Freedom PoseEstimation for
with Mobile Robots using RGB Data [3.4806267677524896]
本稿では,拡張現実デバイス上でリアルタイムな3Dオブジェクトローカライゼーションを実現するために,アートニューラルネットワークの状態をデプロイする手法を提案する。
本研究では,2次元入力のみを用いて物体の3次元ポーズを高速かつ正確に抽出する高速な2次元検出手法に着目する。
2D画像の6Dアノテーションとして,私たちの知る限り,最初のオープンソースツールであるアノテーションツールを開発した。
論文 参考訳(メタデータ) (2020-01-16T09:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。