論文の概要: Image Stabilization for Hololens Camera in Remote Collaboration

• arxiv url: http://arxiv.org/abs/2304.02736v1
• Date: Wed, 5 Apr 2023 20:35:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 16:11:42.333336
• Title: Image Stabilization for Hololens Camera in Remote Collaboration
• Title（参考訳）: リモートコラボレーションにおけるホロレンズカメラの画像安定化
• Authors: Gowtham Senthil, Siva Vignesh Krishnan, Annamalai Lakshmanan, Florence Kissling
• Abstract要約: Narrow Field-of-view(FoV)とMotion blurは、ARヘッドセットのリモートビューアに対して、認知度が制限された不快な体験を提供する。 この問題に対処し、より大規模なFoVで安定した視聴体験を確保するための2段階パイプラインを提案する。 このソリューションには、屋内環境のオフライン3D再構築と、ARデバイスのライブポーズのみを使用したレンダリングの強化が含まれる。
• 参考スコア（独自算出の注目度）: 1.1470070927586016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of new technologies, Augmented Reality (AR) has become an effective tool in remote collaboration. Narrow field-of-view (FoV) and motion blur can offer an unpleasant experience with limited cognition for remote viewers of AR headsets. In this article, we propose a two-stage pipeline to tackle this issue and ensure a stable viewing experience with a larger FoV. The solution involves an offline 3D reconstruction of the indoor environment, followed by enhanced rendering using only the live poses of AR device. We experiment with and evaluate the two different 3D reconstruction methods, RGB-D geometric approach and Neural Radiance Fields (NeRF), based on their data requirements, reconstruction quality, rendering, and training times. The generated sequences from these methods had smoother transitions and provided a better perspective of the environment. The geometry-based enhanced FoV method had better renderings as it lacked blurry outputs making it better than the other attempted approaches. Structural Similarity Index (SSIM) and Peak Signal to Noise Ratio (PSNR) metrics were used to quantitatively show that the rendering quality using the geometry-based enhanced FoV method is better. Link to the code repository - https://github.com/MixedRealityETHZ/ImageStabilization.
• Abstract（参考訳）: 新しい技術の出現に伴い、拡張現実(AR)はリモートコラボレーションにおいて効果的なツールとなっている。 narrow field-of-view (fov)とmotion blurは、arヘッドセットのリモートビューアに限定された認識を伴う不快な体験を提供する。 本稿では,この問題に取り組み,より大きなfovで安定した視聴体験を実現するための2段階パイプラインを提案する。 このソリューションには、屋内環境のオフライン3D再構築と、ARデバイスのライブポーズのみを使用したレンダリングの強化が含まれる。 我々は,RGB-D幾何アプローチとニューラルレージアンスフィールド(NeRF)という2つの異なる3次元再構成手法を,データ要求,再構成品質,レンダリング,トレーニング時間に基づいて実験・評価した。 これらの手法から生成されたシーケンスは、よりスムーズな遷移を示し、環境のより良い視点を提供した。 幾何ベースの拡張fov法は、他の試みよりもベターな出力がなく、レンダリングが改善された。 構造類似度指数(SSIM)とPak Signal to Noise Ratio(PSNR)の測定値を用いて,幾何に基づく拡張FoV法によるレンダリング品質が良いことを示す。 code repositoryhttps://github.com/MixedRealityETHZ/ImageStabilization.comへのリンク。

関連論文リスト

• LaRa: Efficient Large-Baseline Radiance Fields [32.86296116177701]
  本稿では,トランス層における局所的および大域的推論を統一する手法を提案する。 我々のモデルはガウスボリュームとしてシーンを表現し、これを画像エンコーダとグループ注意層と組み合わせて効率的なフィードフォワード再構築を行う。
  論文  参考訳（メタデータ） (2024-07-05T17:59:58Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• Neural Radiance Fields with Torch Units [19.927273454898295]
  学習に基づく3D再構成法は産業用途に広く用いられている。 本稿では,よりコンテキスト情報を持つ単一カメラ光線を奨励する新しい推論パターンを提案する。 トーチライトとして、画像のパッチを描画する手法の光線を要約するため、提案手法をTorch-NeRFと呼ぶ。
  論文  参考訳（メタデータ） (2024-04-03T10:08:55Z)
• Unfolding Framework with Prior of Convolution-Transformer Mixture and Uncertainty Estimation for Video Snapshot Compressive Imaging [7.601695814245209]
  本稿では, 連続する高速フレームを異なるマスクで変調し, 単一の計測でキャプチャする, ビデオスナップショット圧縮画像(SCI)の問題点について考察する。 最適化アルゴリズムとニューラルネットワークを組み合わせることで、ディープ・アンフォールディング・ネットワーク(DUN)は、逆問題の解決において大きな成果を上げた。
  論文  参考訳（メタデータ） (2023-06-20T06:25:48Z)
• Enhanced Stable View Synthesis [86.69338893753886]
  本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。 導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-30T01:53:14Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from Photometric Images [52.021529273866896]
  我々は、光メトリック画像を操作し、高品質な3Dコンテンツを出力するIRONと呼ばれるニューラルネットワーク逆レンダリングパイプラインを提案する。 提案手法は, 符号付き距離場 (SDF) と材料として, その柔軟性とコンパクトさを享受するために, 形状のニューラル表現を最適化中に採用する。 我々のIRONは、以前の作品に比べて、逆レンダリング品質が大幅に向上していることが示される。
  論文  参考訳（メタデータ） (2022-04-05T14:14:18Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。