論文の概要: Towards Real-Time Neural Volumetric Rendering on Mobile Devices: A Measurement Study
- arxiv url: http://arxiv.org/abs/2406.16068v1
- Date: Sun, 23 Jun 2024 10:33:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 19:13:57.666058
- Title: Towards Real-Time Neural Volumetric Rendering on Mobile Devices: A Measurement Study
- Title（参考訳）: モバイルデバイスにおける実時間ニューラルボリュームレンダリングに向けて:計測研究
- Authors: Zhe Wang, Yifei Zhu,
- Abstract要約: 我々は,システムの観点から,最先端のリアルタイムNeRFレンダリング技術について検討する。
まず、NeRFサービスシステムの動作パイプライン全体を定義する。
次に,コミュニケーション,計算,視覚的パフォーマンスの観点から,システムにとって重要な制御ノブを同定する。
- 参考スコア（独自算出の注目度）: 12.392923990003753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) is an emerging technique to synthesize 3D objects from 2D images with a wide range of potential applications. However, rendering existing NeRF models is extremely computation intensive, making it challenging to support real-time interaction on mobile devices. In this paper, we take the first initiative to examine the state-of-the-art real-time NeRF rendering technique from a system perspective. We first define the entire working pipeline of the NeRF serving system. We then identify possible control knobs that are critical to the system from the communication, computation, and visual performance perspective. Furthermore, an extensive measurement study is conducted to reveal the effects of these control knobs on system performance. Our measurement results reveal that different control knobs contribute differently towards improving the system performance, with the mesh granularity being the most effective knob and the quantization being the least effective knob. In addition, diverse hardware device settings and network conditions have to be considered to fully unleash the benefit of operating under the appropriate knobs
- Abstract（参考訳）: Neural Radiance Fields (NeRF) は、2次元画像から幅広い潜在的な用途で3Dオブジェクトを合成する新興技術である。
しかし、既存のNeRFモデルのレンダリングは非常に計算集約的であり、モバイルデバイスでのリアルタイムインタラクションをサポートすることは困難である。
本稿では,システムの観点から最先端のリアルタイムNeRFレンダリング技術について検討する。
まず、NeRFサービスシステムの動作パイプライン全体を定義する。
次に,コミュニケーション,計算,視覚的パフォーマンスの観点から,システムにとって重要な制御ノブを同定する。
さらに,これらの制御ノブがシステム性能に及ぼす影響を明らかにするため,広範囲な測定を行った。
その結果, メッシュの粒度は最も有効なノブであり, 量子化は最も有効なノブである。
さらに、多様なハードウェアデバイス設定とネットワーク条件は、適切なノブの下での運用の利点を完全に解き放つ必要がある。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - RS-NeRF: Neural Radiance Fields from Rolling Shutter Images [30.719764073204423]
本稿では,RS歪みを用いた入力を用いて,新しいビューから通常の画像を合成する手法であるRS-NeRFを提案する。
これは、RS条件下で画像形成過程を再現する物理モデルを含む。
さらに,基本RS-NeRFモデルの本質的な欠点を,RS特性を掘り下げ,その機能を強化するアルゴリズムを開発することで解決する。
論文 参考訳（メタデータ） (2024-07-14T16:27:11Z) - NeRF-DetS: Enhancing Multi-View 3D Object Detection with Sampling-adaptive Network of Continuous NeRF-based Representation [60.47114985993196]
NeRF-Detは、新しいビュー演算と3D知覚のタスクを統一する。
我々は,新しい3次元知覚ネットワーク構造であるNeRF-DetSを導入する。
NeRF-DetSはScanNetV2データセット上で競合するNeRF-Detより優れている。
論文 参考訳（メタデータ） (2024-04-22T06:59:03Z) - 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting
Hands [51.305421495638434]
ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。
本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。
Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
論文 参考訳（メタデータ） (2024-01-02T00:42:06Z) - Agile gesture recognition for capacitive sensing devices: adapting
on-the-job [55.40855017016652]
本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。
コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。
機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
論文 参考訳（メタデータ） (2023-05-12T17:24:02Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - LGC-Net: A Lightweight Gyroscope Calibration Network for Efficient
Attitude Estimation [10.468378902106613]
本稿では,低コストマイクロエレクトロメカニカル・システム(MEMS)ジャイロスコープを分解し,ロボットの姿勢をリアルタイムで推定するキャリブレーションニューラルネットワークモデルを提案する。
鍵となるアイデアは、慣性測定ユニット(IMU)測定の時間窓から局所的および大域的特徴を抽出し、ジャイロスコープの出力補償成分を動的に回帰させることである。
提案アルゴリズムはEuRoCおよびTUM-VIデータセットで評価され、より軽量なモデル構造で(目に見えない)テストシーケンスの最先端化を実現する。
論文 参考訳（メタデータ） (2022-09-19T08:03:03Z) - NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance
Fields [54.27264716713327]
シーンのニューラル・ラジアンス・フィールド(NeRF)表現は,高密度物体記述子の訓練に利用できることを示す。
我々は、最適化されたNeRFを用いて、オブジェクトの複数のビュー間の密接な対応を抽出し、これらの対応を、オブジェクトのビュー不変表現を学習するためのトレーニングデータとして使用する。
また,本手法により教師されたディエンス対応モデルは,市販の学習ディスクリプタよりも106%優れていた。
論文 参考訳（メタデータ） (2022-03-03T18:49:57Z) - Fully Learnable Deep Wavelet Transform for Unsupervised Monitoring of
High-Frequency Time Series [2.7793394375935088]
高周波(HF)信号は産業界に広く存在しており、産業資産の監視に非常に有用である。
ほとんどのディープラーニングツールは、固定サイズおよび/または非常に制限された入力用に設計されており、インプット抽出機能として産業的文脈にディープラーニングの応用が成功している。
生のHF信号の有意義で疎い表現を抽出できる、完全に監視されていないディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-05-03T14:35:06Z) - A Markerless Deep Learning-based 6 Degrees of Freedom PoseEstimation for
with Mobile Robots using RGB Data [3.4806267677524896]
本稿では,拡張現実デバイス上でリアルタイムな3Dオブジェクトローカライゼーションを実現するために,アートニューラルネットワークの状態をデプロイする手法を提案する。
本研究では,2次元入力のみを用いて物体の3次元ポーズを高速かつ正確に抽出する高速な2次元検出手法に着目する。
2D画像の6Dアノテーションとして,私たちの知る限り,最初のオープンソースツールであるアノテーションツールを開発した。
論文 参考訳（メタデータ） (2020-01-16T09:13:31Z) - Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。
提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
論文 参考訳（メタデータ） (2020-01-02T17:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。