論文の概要: Efficient and Privacy-Protecting Background Removal for 2D Video Streaming using iPhone 15 Pro Max LiDAR
- arxiv url: http://arxiv.org/abs/2508.20250v1
- Date: Wed, 27 Aug 2025 20:14:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-29 18:12:01.792501
- Title: Efficient and Privacy-Protecting Background Removal for 2D Video Streaming using iPhone 15 Pro Max LiDAR
- Title（参考訳）: iPhone 15 Pro Max LiDARを用いた2次元ビデオストリーミングの効率とプライバシー保護の背景除去
- Authors: Jessica Kinnevan, Naifa Alqahtani, Toral Chauhan,
- Abstract要約: 我々はiPhone 15 Pro MaxのLiDARとカラーカメラとGPUベースの画像処理を統合している。
LiDARの深度情報は被写体照明とは独立であり、低照度および明るい環境でも同様に機能する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Light Detection and Ranging (LiDAR) technology in consumer-grade mobile devices can be used as a replacement for traditional background removal and compositing techniques. Unlike approaches such as chroma keying and trained AI models, LiDAR's depth information is independent of subject lighting, and performs equally well in low-light and well-lit environments. We integrate the LiDAR and color cameras on the iPhone 15 Pro Max with GPU-based image processing. We use Apple's SwiftUI and Swift frameworks for user interface and backend development, and Metal Shader Language (MSL) for realtime image enhancement at the standard iPhone streaming frame rate of 60 frames per second. The only meaningful limitations of the technology are the streaming bandwidth of the depth data, which currently reduces the depth map resolution to 320x240, and any pre-existing limitations of the LiDAR IR laser to reflect accurate depth from some materials. If the LiDAR resolution on a mobile device like the iPhone can be improved to match the color image resolution, LiDAR could feasibly become the preeminent method of background removal for video applications and photography.
- Abstract（参考訳）: コンシューマグレードのモバイルデバイスにおける光検出・Ranging(LiDAR)技術は、従来の背景除去・合成技術に代わるものとして利用することができる。
クロマキーや訓練されたAIモデルのようなアプローチとは異なり、LiDARの深度情報は被写体照明とは独立しており、低照度で明るい環境でも同様に機能する。
我々はiPhone 15 Pro MaxのLiDARとカラーカメラとGPUベースの画像処理を統合している。
私たちはAppleのSwiftUIとSwiftフレームワークをユーザインターフェースとバックエンド開発に使用し、Metal Shader Language(MSL)を標準のiPhoneストリーミングフレームレート60フレーム毎秒のリアルタイムイメージ拡張に使用しています。
この技術で唯一有意義な制限は深度データのストリーミング帯域幅であり、現在は深さマップの解像度を320x240に下げている。
もしiPhoneのようなモバイルデバイス上のLiDAR解像度が、カラー画像の解像度に合うように改善できれば、LiDARは、ビデオアプリケーションや写真の背景削除の最先端の方法になり得るだろう。
関連論文リスト
- Blurred LiDAR for Sharper 3D: Robust Handheld 3D Scanning with Diffuse LiDAR and RGB [12.38882701862349]
3D表面の再構成は、仮想現実、ロボット工学、モバイルスキャンの応用において不可欠である。
RGBベースの再構築は、低テクスチャ、低照度、低アルベドシーンでしばしば失敗する。
我々は、拡散フラッシュを出力する代替のLiDARクラスを提案する。
論文 参考訳（メタデータ） (2024-11-29T05:01:23Z) - MobileMEF: Fast and Efficient Method for Multi-Exposure Fusion [0.6261722394141346]
本稿では,エンコーダ・デコーダ深層学習アーキテクチャに基づくマルチ露光融合手法を提案する。
我々のモデルは、中距離スマートフォンで2秒未満で4K解像度画像を処理できる。
論文 参考訳（メタデータ） (2024-08-15T05:03:14Z) - DART: Depth-Enhanced Accurate and Real-Time Background Matting [11.78381754863757]
静的な背景を持つマッティングは、しばしばバックグラウンド・マッティング(BGM)と呼ばれ、コンピュータビジョンコミュニティ内で大きな注目を集めている。
我々は,RGB-Dカメラによって提供される豊富な深度情報を活用し,リアルタイムの背景マッチング性能を向上させる。
論文 参考訳（メタデータ） (2024-02-24T14:10:17Z) - VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams [56.00479598817949]
VideoRFは、モバイルプラットフォーム上で動的ラディアンスフィールドのリアルタイムストリーミングとレンダリングを可能にする最初のアプローチである。
特徴画像ストリームを2次元ビデオコーデックで効率よく圧縮できることを示す。
我々は動的シーンのオンラインストリーミングとレンダリングを可能にするリアルタイムインタラクティブプレーヤーを開発した。
論文 参考訳（メタデータ） (2023-12-03T14:14:35Z) - Gait Recognition in Large-scale Free Environment via Single LiDAR [35.684257181154905]
深度を捉えるLiDARの能力は、ロボットの知覚にとって重要な要素であり、現実世界の歩行認識の可能性を秘めている。
本稿では,頑健な歩行認識のための階層型多表現特徴相互作用ネットワーク(HMRNet)を提案する。
LiDARに基づく歩行認識研究を容易にするため,大規模かつ制約のない歩行データセットであるFreeGaitを紹介した。
論文 参考訳（メタデータ） (2022-11-22T16:05:58Z) - Efficient Single-Image Depth Estimation on Mobile Devices, Mobile AI &
AIM 2022 Challenge: Report [108.88637766066759]
ディープラーニングベースの単一画像深度推定ソリューションは、IoTプラットフォームとスマートフォン上でリアルタイムのパフォーマンスを示すことができる。
このチャレンジで開発されたモデルは、AndroidやLinuxベースのモバイルデバイスとも互換性がある。
論文 参考訳（メタデータ） (2022-11-07T22:20:07Z) - Perceptual Image Enhancement for Smartphone Real-Time Applications [60.45737626529091]
本稿では,知覚的画像強調のための軽量ネットワークLPIENetを提案する。
我々のモデルは、ノイズアーティファクト、回折アーティファクト、ぼかし、HDR過剰露光を扱うことができる。
我々のモデルは、中級商用スマートフォンで1秒未満で2K解像度画像を処理することができる。
論文 参考訳（メタデータ） (2022-10-24T19:16:33Z) - Multi-modal Streaming 3D Object Detection [20.01800869678355]
本稿では,革新的なカメラ-LiDARストリーミング3Dオブジェクト検出フレームワークを提案する。
過去のLiDARスライスの代わりにカメライメージを使用して、ストリーミング知覚のための最新で高密度で広いコンテキストを提供する。
提案手法は, カメラ画像の欠落, 狭いLiDARスライス, 小型カメラとLiDARの誤校正に対する堅牢性を示す。
論文 参考訳（メタデータ） (2022-09-12T00:30:52Z) - DeepLiDARFlow: A Deep Learning Architecture For Scene Flow Estimation
Using Monocular Camera and Sparse LiDAR [10.303618438296981]
シーンフロー(Scene flow)とは、シーンの動きと幾何学を3Dで再現する手法である。
ほとんどの最先端の手法では、ステレオ画像のペアをフルシーン再構築のための入力として利用する。
DeepLiDARFlowは、複数のスケールで高レベルのRGBとLiDAR機能を融合する、新しいディープラーニングアーキテクチャである。
論文 参考訳（メタデータ） (2020-08-18T19:51:08Z) - Depth Sensing Beyond LiDAR Range [84.19507822574568]
小型の視野カメラを用いた3カメラシステムを提案する。
我々のシステムは、計量深度を計算するための新しいアルゴリズムとともに、完全な事前校正を必要としない。
遠距離のシーンや物体に対して、事実上許容できる精度で密集した深度マップを出力することができる。
論文 参考訳（メタデータ） (2020-04-07T00:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。