論文の概要: Timeliness-Fidelity Tradeoff in 3D Scene Representations

• arxiv url: http://arxiv.org/abs/2407.16575v1
• Date: Tue, 23 Jul 2024 15:30:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 16:45:46.266085
• Title: Timeliness-Fidelity Tradeoff in 3D Scene Representations
• Title（参考訳）: 3次元シーン表現における時間-忠実トレードオフ
• Authors: Xiangmin Xu, Zhen Meng, Yichi Zhang, Changyang She, Philip G. Zhao,
• Abstract要約: 本稿では,リアルタイム3次元シーン表現におけるタイムラインと忠実さのトレードオフについて検討する。 具体的には,通信遅延がトレードオフに与える影響を評価する枠組みを確立する。 3次元シーン表現の忠実度を改善するために,一段階のPPO法を提案する。
• 参考スコア（独自算出の注目度）: 21.83480597828125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time three-dimensional (3D) scene representations serve as one of the building blocks that bolster various innovative applications, e.g., digital manufacturing, Virtual/Augmented/Extended/Mixed Reality (VR/AR/XR/MR), and the metaverse. Despite substantial efforts that have been made to real-time communications and computing, real-time 3D scene representations remain a challenging task. This paper investigates the tradeoff between timeliness and fidelity in real-time 3D scene representations. Specifically, we establish a framework to evaluate the impact of communication delay on the tradeoff, where the real-world scenario is monitored by multiple cameras that communicate with an edge server. To improve fidelity for 3D scene representations, we propose to use a single-step Proximal Policy Optimization (PPO) method that leverages the Age of Information (AoI) to decide if the received image needs to be involved in 3D scene representations and rendering. We test our framework and the proposed approach with different well-known 3D scene representation methods. Simulation results reveal that real-time 3D scene representation can be sensitively affected by communication delay, and our proposed method can achieve optimal 3D scene representation results.
• Abstract（参考訳）: リアルタイム3次元シーン表現は、デジタル製造、VR/AR/XR/MR(Virtual/Augmented/Extended/Mixed Reality)、メタバース(Metaverse)など、様々な革新的な応用を促進するビルディングブロックの1つとして機能する。 リアルタイム通信とコンピューティングに多大な努力を払っているにもかかわらず、リアルタイムの3Dシーン表現は依然として難しい課題である。 本稿では,リアルタイム3次元シーン表現におけるタイムラインと忠実さのトレードオフについて検討する。 具体的には,エッジサーバと通信する複数のカメラで実世界のシナリオを監視し,通信遅延がトレードオフに与える影響を評価する枠組みを確立する。 3次元シーン表現の忠実性を改善するために,情報化時代(AoI)を利用した一段階のPPO手法を用いて,受信した画像が3次元シーン表現やレンダリングに関与する必要があるかどうかを判断する。 我々は,このフレームワークと提案手法を,よく知られた3次元シーン表現手法を用いて検証する。 シミュレーションの結果,リアルタイムな3次元シーン表現は通信遅延の影響を受けやすいことが明らかとなり,提案手法は最適な3次元シーン表現を実現することができる。

関連論文リスト

• 4-LEGS: 4D Language Embedded Gaussian Splatting [12.699978393733309]
  3次元ガウシアンティングに基づく4次元表現に時間的特徴を持ち上げる方法を示す。 これにより、ユーザはテキストプロンプトからビデオ内のイベントを時間的にローカライズすることができる。 我々は,人や動物が様々な行動を行う様子を公開3Dビデオデータセットで実演する。
  論文  参考訳（メタデータ） (2024-10-14T17:00:53Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)
• Equivariant Neural Rendering [22.95150913645939]
  本稿では,3次元の監督なしに画像から直接ニューラルシーン表現を学習するためのフレームワークを提案する。 我々の重要な洞察は、学習された表現が本物の3Dシーンのように変換されることを保証することで、3D構造を課すことである。 私たちの定式化によって、推論に数分を要するモデルに匹敵する結果を得ながら、リアルタイムでシーンを推測および描画することが可能になります。
  論文  参考訳（メタデータ） (2020-06-13T12:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。