論文の概要: A Multi-user Oriented Live Free-viewpoint Video Streaming System Based
On View Interpolation
- arxiv url: http://arxiv.org/abs/2112.10603v2
- Date: Wed, 22 Dec 2021 06:43:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-23 12:51:42.507363
- Title: A Multi-user Oriented Live Free-viewpoint Video Streaming System Based
On View Interpolation
- Title(参考訳): ビュー補間に基づくマルチユーザ指向ライブ自由視点ビデオストリーミングシステム
- Authors: Jingchuan Hu, Shuai Guo, Kai Zhou, Yu Dong, Jun Xu and Li Song
- Abstract要約: リアルタイムに高密度な仮想ビューを合成するためのCNNベースのビューアルゴリズムを提案する。
また,マルチユーザ指向のストリーミング戦略を備えた,エンドツーエンドのライブビューポイントシステムを構築した。
- 参考スコア(独自算出の注目度): 15.575219833681635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As an important application form of immersive multimedia services,
free-viewpoint video(FVV) enables users with great immersive experience by
strong interaction. However, the computational complexity of virtual view
synthesis algorithms poses a significant challenge to the real-time performance
of an FVV system. Furthermore, the individuality of user interaction makes it
difficult to serve multiple users simultaneously for a system with conventional
architecture. In this paper, we novelly introduce a CNN-based view
interpolation algorithm to synthesis dense virtual views in real time. Based on
this, we also build an end-to-end live free-viewpoint system with a multi-user
oriented streaming strategy. Our system can utilize a single edge server to
serve multiple users at the same time without having to bring a large view
synthesis load on the client side. We analyze the whole system and show that
our approaches give the user a pleasant immersive experience, in terms of both
visual quality and latency.
- Abstract(参考訳): 没入型マルチメディアサービスの重要な応用形態として、fvv(free-viewpoint video)は強力なインタラクションによって没入型体験をユーザに提供する。
しかし、仮想ビュー合成アルゴリズムの計算複雑性は、FVVシステムのリアルタイム性能に重大な課題をもたらす。
さらに、ユーザインタラクションの個性は、従来のアーキテクチャのシステムに対して、複数のユーザを同時に提供するのを困難にしている。
本稿では,CNNを用いた高密度仮想ビューをリアルタイムに合成するビュー補間アルゴリズムを提案する。
これに基づいて,マルチユーザ指向のストリーミング戦略を備えた,エンドツーエンドのライブビューポイントシステムを構築した。
本システムでは,クライアント側で大規模なビュー合成負荷を発生させることなく,単一エッジサーバを複数のユーザに対して同時に提供することが可能である。
システム全体を解析し、私たちのアプローチが視覚的品質とレイテンシの両方の観点から、ユーザに対して快適な没入感を与えることを示す。
関連論文リスト
- Generalized User Representations for Transfer Learning [6.953653891411339]
本稿では,大規模レコメンデーションシステムにおけるユーザ表現のための新しいフレームワークを提案する。
提案手法は,表現学習と伝達学習を組み合わせた2段階の手法を用いる。
提案するフレームワークは,代替手法と比較して,インフラコストを大幅に削減できることを示す。
論文 参考訳(メタデータ) (2024-03-01T15:05:21Z) - Explore Synergistic Interaction Across Frames for Interactive Video
Object Segmentation [70.93295323156876]
複数のフレームを同時に受け入れることのできるフレームワークを提案し、フレーム間の相乗的相互作用(SIAF)を探索する。
我々のSwinB-SIAFはDAVIS 2017(89.6%、J&F@60)で最先端のパフォーマンスを達成した
我々のR50-SIAFは、挑戦的なマルチオブジェクトシナリオの下で、最先端の競合製品よりも3倍高速です。
論文 参考訳(メタデータ) (2024-01-23T04:19:15Z) - Federated Multi-View Synthesizing for Metaverse [52.59476179535153]
メタバースは没入型エンターテイメント、教育、ビジネスアプリケーションを提供すると期待されている。
無線ネットワーク上のバーチャルリアリティ(VR)伝送は、データと計算集約である。
我々は,メタバースにおける無線コンテンツ配信のために,効率的な合成,記憶,通信資源を提供する,新しい多視点合成フレームワークを開発した。
論文 参考訳(メタデータ) (2023-12-18T13:51:56Z) - Two-stream Multi-level Dynamic Point Transformer for Two-person
Interaction Recognition [65.87203087716263]
本稿では,2人インタラクション認識のための2ストリームマルチレベル動的ポイント変換器を提案する。
本モデルでは,局所空間情報,外観情報,動作情報を組み込むことで,対人インタラクションを認識するという課題に対処する。
我々のネットワークは、すべての標準評価設定において最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-07-22T03:51:32Z) - Virtual Avatar Stream: a cost-down approach to the Metaverse experience [0.0]
このプロジェクトの目的は、Web技術を活用した没入型メタバース体験へのアクセス可能なエントリポイントを提供することである。
開発したプラットフォームでは、Webブラウザ、マイク、ウェブカメラのみを使用してレンダリングされたアバターを利用できるようになる。
論文 参考訳(メタデータ) (2023-04-04T01:34:23Z) - You Only Train Once: Multi-Identity Free-Viewpoint Neural Human
Rendering from Monocular Videos [10.795522875068073]
You Only Train Once (YOTO) は動的なヒューマンジェネレーションフレームワークであり、異なる動きを持つ異なる人間のアイデンティティを自由視点でレンダリングする。
本稿では,多元性自由視点レンダリングのためのフレームワークの能力を拡張するために,学習可能な識別符号のセットを提案する。
YOTOは、すべての評価指標で最先端のパフォーマンスを示しながら、トレーニングや推論効率、レンダリング品質に大きなメリットを示している。
論文 参考訳(メタデータ) (2023-03-10T10:23:17Z) - AEGIS: A real-time multimodal augmented reality computer vision based
system to assist facial expression recognition for individuals with autism
spectrum disorder [93.0013343535411]
本稿では,コンピュータビジョンと深部畳み込みニューラルネットワーク(CNN)を組み合わせたマルチモーダル拡張現実(AR)システムの開発について述べる。
提案システムはAIGISと呼ばれ,タブレット,スマートフォン,ビデオ会議システム,スマートグラスなど,さまざまなユーザデバイスにデプロイ可能な支援技術である。
我々は空間情報と時間情報の両方を活用して正確な表現予測を行い、それを対応する可視化に変換し、元のビデオフレーム上に描画する。
論文 参考訳(メタデータ) (2020-10-22T17:20:38Z) - FVV Live: A real-time free-viewpoint video system with consumer
electronics hardware [1.1403672224109256]
FVV Liveは、低コストでリアルタイムな操作のために設計された、新しいエンドツーエンドの無料視点ビデオシステムである。
このシステムは、コンシューマグレードのカメラとハードウェアを使って高品質のフリー視点ビデオを提供するように設計されている。
論文 参考訳(メタデータ) (2020-07-01T15:40:28Z) - Self-Supervised MultiModal Versatile Networks [76.19886740072808]
我々は、ビデオに自然に存在する3つのモダリティ(ビジュアル、オーディオ、言語ストリーム)を活用することで、自己スーパービジョンを用いて表現を学習する。
ビデオ, ビデオテキスト, 画像, 音声タスクに対して, ビデオデータの大規模な収集を訓練したネットワークを, どのように適用できるかを実証する。
論文 参考訳(メタデータ) (2020-06-29T17:50:23Z) - Scene-Adaptive Video Frame Interpolation via Meta-Learning [54.87696619177496]
テスト時に容易に利用できる追加情報を利用することで、各ビデオにモデルを適用することを提案する。
追加パラメータを使わずに1つの勾配更新しか行わず、大幅な性能向上が得られます。
論文 参考訳(メタデータ) (2020-04-02T02:46:44Z) - Using CNNs For Users Segmentation In Video See-Through Augmented
Virtuality [0.0]
本稿では,ユーザ・セルフ・ボディや他の参加者をヘッドマウント型ビデオ・シースルー拡張仮想性シナリオに統合するためのディープラーニング技術の使用に関する予備的な結果を示す。
本稿では,ユーザの視点で取得した立体RGBビデオストリームにおいて,ユーザの身体のリアルタイムなセマンティックセマンティックセグメンテーションに畳み込みニューラルネットワークを用いることを提案する。
論文 参考訳(メタデータ) (2020-01-02T15:22:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。