論文の概要: Federated Multi-View Synthesizing for Metaverse

• arxiv url: http://arxiv.org/abs/2401.00859v1
• Date: Mon, 18 Dec 2023 13:51:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 12:17:40.127795
• Title: Federated Multi-View Synthesizing for Metaverse
• Title（参考訳）: メタバースのフェデレート多視点合成
• Authors: Yiyu Guo, Zhijin Qin, Xiaoming Tao, Geoffrey Ye Li
• Abstract要約: メタバースは没入型エンターテイメント、教育、ビジネスアプリケーションを提供すると期待されている。 無線ネットワーク上のバーチャルリアリティ(VR)伝送は、データと計算集約である。 我々は,メタバースにおける無線コンテンツ配信のために,効率的な合成,記憶,通信資源を提供する,新しい多視点合成フレームワークを開発した。
• 参考スコア（独自算出の注目度）: 52.59476179535153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The metaverse is expected to provide immersive entertainment, education, and business applications. However, virtual reality (VR) transmission over wireless networks is data- and computation-intensive, making it critical to introduce novel solutions that meet stringent quality-of-service requirements. With recent advances in edge intelligence and deep learning, we have developed a novel multi-view synthesizing framework that can efficiently provide computation, storage, and communication resources for wireless content delivery in the metaverse. We propose a three-dimensional (3D)-aware generative model that uses collections of single-view images. These single-view images are transmitted to a group of users with overlapping fields of view, which avoids massive content transmission compared to transmitting tiles or whole 3D models. We then present a federated learning approach to guarantee an efficient learning process. The training performance can be improved by characterizing the vertical and horizontal data samples with a large latent feature space, while low-latency communication can be achieved with a reduced number of transmitted parameters during federated learning. We also propose a federated transfer learning framework to enable fast domain adaptation to different target domains. Simulation results have demonstrated the effectiveness of our proposed federated multi-view synthesizing framework for VR content delivery.
• Abstract（参考訳）: metaverseは没入型エンターテイメント、教育、ビジネスアプリケーションを提供する。 しかし、無線ネットワーク上のバーチャルリアリティ(VR)伝送はデータと計算集約であり、厳密な品質要件を満たす新しいソリューションを導入することが重要である。 近年のエッジインテリジェンスとディープラーニングの進歩により,メタバースにおける無線コンテンツ配信のための計算,ストレージ,通信資源を効率的に提供できる新しい多視点合成フレームワークを開発した。 単視点画像のコレクションを用いた3次元3次元画像生成モデルを提案する。 これらのシングルビュー画像は、オーバーラップした視野を持つユーザグループに送信されるため、タイルや3dモデル全体の送信と比較すると、大量のコンテンツ送信を避けることができる。 次に,効率的な学習プロセスを保証するための連合学習手法を提案する。 垂直および水平データサンプルを大きな潜時特徴空間で特徴付けしてトレーニング性能を向上させることができる一方、フェデレーション学習中に送信されたパラメータの数を削減して低遅延通信を実現することができる。 また,異なる対象領域への高速ドメイン適応を実現するためのフェデレーション転送学習フレームワークを提案する。 シミュレーションにより,vrコンテンツ配信のためのフェデレーションマルチビュー合成フレームワークの有効性が実証された。

関連論文リスト

• LaVin-DiT: Large Vision Diffusion Transformer [99.98106406059333]
  LaVin-DiTは、20以上のコンピュータビジョンタスクを生成フレームワークで扱うために設計された、スケーラブルで統一された基盤モデルである。 視覚タスクの生成性能を最適化するための重要なイノベーションを紹介する。 このモデルは0.1Bから3.4Bのパラメータに拡張され、様々な視覚タスクにまたがる相当なスケーラビリティと最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-11-18T12:05:27Z)
• Augmented Reality based Simulated Data (ARSim) with multi-view consistency for AV perception networks [47.07188762367792]
  ARSimは3次元合成オブジェクトを用いた実写多視点画像データの拡張を目的としたフレームワークである。 実データを用いて簡易な仮想シーンを構築し,その内部に戦略的に3D合成資産を配置する。 結果として得られたマルチビュー一貫性のあるデータセットは、自動運転車のためのマルチカメラ知覚ネットワークのトレーニングに使用される。
  論文  参考訳（メタデータ） (2024-03-22T17:49:11Z)
• OnDev-LCT: On-Device Lightweight Convolutional Transformers towards federated learning [29.798780069556074]
  フェデレートラーニング(FL)は、複数のエッジデバイスにまたがる機械学習モデルを協調的にトレーニングするための、有望なアプローチとして登場した。 トレーニングデータとリソースに制限のあるオンデバイスビジョンタスクのための軽量畳み込み変換器を提案する。
  論文  参考訳（メタデータ） (2024-01-22T02:17:36Z)
• MuRF: Multi-Baseline Radiance Fields [117.55811938988256]
  スパースビュー合成におけるフィードフォワードアプローチであるmulti-Baseline Radiance Fields(MuRF)を提案する。 MuRFは、複数の異なるベースライン設定で最先端のパフォーマンスを達成する。 また、Mip-NeRF 360データセット上でゼロショットの一般化能力を示す。
  論文  参考訳（メタデータ） (2023-12-07T18:59:56Z)
• Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training [44.790636524264]
  ポイント・プロンプト・トレーニング(Point Prompt Training)は、3D表現学習の文脈におけるマルチデータセットのシナジスティック学習のための新しいフレームワークである。 シナジスティック学習に関連する負の移動を克服し、一般化可能な表現を生成する。 教師付きマルチデータセットトレーニングを備えた1つの重み付きモデルを用いて、各データセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:57Z)
• Asynchronous Hybrid Reinforcement Learning for Latency and Reliability Optimization in the Metaverse over Wireless Communications [8.513938423514636]
  現実世界のシーンのリアルタイムデジタルツインニングが増加している。 送信シーン次元(3次元とは対照的に2次元)の差は、アップリンク(UL)とダウンリンク(DL)の非対称データサイズにつながる 我々は、新しいマルチエージェント強化学習アルゴリズム、すなわち非同期アクターハイブリッド批判(AAHC)を設計する。
  論文  参考訳（メタデータ） (2022-12-30T14:40:00Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• Applying Deep-Learning-Based Computer Vision to Wireless Communications: Methodologies, Opportunities, and Challenges [100.45137961106069]
  ディープラーニング(DL)はコンピュータビジョン(CV)分野で大きな成功を収めている。 本稿では,無線通信におけるDLベースのCVの適用について紹介する。
  論文  参考訳（メタデータ） (2020-06-10T11:37:49Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。