論文の概要: DeformStream: Deformation-based Adaptive Volumetric Video Streaming
- arxiv url: http://arxiv.org/abs/2409.16615v1
- Date: Wed, 25 Sep 2024 04:43:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 05:35:28.471149
- Title: DeformStream: Deformation-based Adaptive Volumetric Video Streaming
- Title（参考訳）: DeformStream: 変形に基づく適応ボリュームビデオストリーミング
- Authors: Boyan Li, Yongting Chen, Dayou Zhang, Fangxin Wang,
- Abstract要約: ボリュームビデオストリーミングは没入型3D体験を提供するが、高い帯域幅要件とレイテンシの問題のために大きな課題に直面している。
本稿では,メッシュベースの表現の変形性を生かして,ボリュームビデオストリーミング性能を向上させる新しいフレームワークであるAdaptive Volumetric Video Streamingを紹介する。
- 参考スコア（独自算出の注目度）: 4.366356163044466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Volumetric video streaming offers immersive 3D experiences but faces significant challenges due to high bandwidth requirements and latency issues in transmitting detailed content in real time. Traditional methods like point cloud streaming compromise visual quality when zoomed in, and neural rendering techniques are too computationally intensive for real-time use. Though mesh-based streaming stands out by preserving surface detail and connectivity, offering a more refined representation for 3D content, traditional mesh streaming methods typically transmit data on a per-frame basis, failing to take full advantage of temporal redundancies across frames. This results in inefficient bandwidth usage and poor adaptability to fluctuating network conditions. We introduce Deformation-based Adaptive Volumetric Video Streaming, a novel framework that enhances volumetric video streaming performance by leveraging the inherent deformability of mesh-based representations. DeformStream uses embedded deformation to reconstruct subsequent frames from inter-frame motion, significantly reducing bandwidth usage while ensuring visual coherence between frames. To address frame reconstruction overhead and network adaptability, we formulate a new QoE model that accounts for client-side deformation latency and design a dynamic programming algorithm to optimize the trade-off between visual quality and bandwidth consumption under varying network conditions. Our evaluation demonstrates that Deformation-based Adaptive Volumetric Video Streaming outperforms existing mesh-based streaming systems in both bandwidth efficiency and visual quality, offering a robust solution for real-time volumetric video applications.
- Abstract（参考訳）: ボリュームビデオストリーミングは没入型3D体験を提供するが、高帯域幅要件と詳細なコンテンツをリアルタイムに送信する際のレイテンシの問題により、大きな課題に直面している。
ポイントクラウドストリーミングのような従来の方法では、ズームイン時に視覚的品質を損なう。
メッシュベースのストリーミングは、表面のディテールと接続性を維持し、より洗練された3Dコンテンツ表現を提供することで際立っているが、従来のメッシュストリーミングメソッドは通常、フレーム単位のデータを送信し、フレーム間の時間的冗長性を最大限に活用することができない。
これにより、帯域幅の使用効率が低下し、ネットワーク条件の変動に対する適応性が低下する。
本稿では、メッシュベースの表現の変形性を活用して、ボリュームビデオストリーミング性能を向上させる新しいフレームワークである、変形に基づくAdaptive Volumetric Video Streamingを紹介する。
DeformStreamは、組込み変形を使用して、フレーム間の動きから後のフレームを再構築し、フレーム間の視覚的コヒーレンスを確保しながら、バンド幅の使用を著しく削減する。
フレーム再構築のオーバーヘッドとネットワーク適応性に対処するため,クライアント側の変形遅延を考慮した新しいQoEモデルを定式化し,動的プログラミングアルゴリズムを設計し,異なるネットワーク条件下での視覚的品質と帯域幅消費のトレードオフを最適化する。
我々の評価では、変形に基づくAdaptive Volumetric Video Streamingは、既存のメッシュベースのストリーミングシステムよりも帯域効率と視覚的品質の両方で優れており、リアルタイム・ボリューム・ビデオ・アプリケーションに堅牢なソリューションを提供する。
関連論文リスト
- FrameCorr: Adaptive, Autoencoder-based Neural Compression for Video Reconstruction in Resource and Timing Constrained Network Settings [0.18906710320196732]
既存のビデオ圧縮手法では、不完全データが提供されると、圧縮されたデータを復元することが困難となる。
我々は、以前受信したデータを使ってフレームの欠落したセグメントを予測するディープラーニングベースのソリューションであるFrameCorrを紹介する。
論文 参考訳（メタデータ） (2024-09-04T05:19:57Z) - MaskVD: Region Masking for Efficient Video Object Detection [11.759503235646696]
ビデオタスクは計算量が多く、リアルタイムアプリケーションにデプロイする際の課題となる。
本稿では,ビデオフレームにおけるマスキング領域の戦略を提案する。
以前のフレームから抽出した特徴を活用することで、ViTバックボーンはリージョンマスキングの恩恵を直接受けられる。
論文 参考訳（メタデータ） (2024-07-16T08:01:49Z) - Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams [78.72965584414368]
人間の記憶機構をシミュレートしたビデオ言語モデルFlash-VStreamを提案する。
既存のモデルと比較して、Flash-VStreamは遅延推論とVRAM消費の大幅な削減を実現している。
本稿では,オンライン動画ストリーミング理解に特化して設計された質問応答ベンチマークであるVStream-QAを提案する。
論文 参考訳（メタデータ） (2024-06-12T11:07:55Z) - Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳（メタデータ） (2023-12-24T08:42:37Z) - Video Dynamics Prior: An Internal Learning Approach for Robust Video
Enhancements [83.5820690348833]
外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。
提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
論文 参考訳（メタデータ） (2023-12-13T01:57:11Z) - Streaming Anchor Loss: Augmenting Supervision with Temporal Significance [5.7654216719335105]
様々な音声や知覚信号に対する高速なフレームワイズ応答のためのストリーミングニューラルネットワークモデルは、リソース制約のあるプラットフォームで広く採用されている。
本稿では,学習能力の向上を目的とした新たな損失SAL(Streaming Anchor Loss)を提案する。
論文 参考訳（メタデータ） (2023-10-09T17:28:35Z) - Differentiable Resolution Compression and Alignment for Efficient Video
Classification and Retrieval [16.497758750494537]
本稿では,高解像度圧縮・アライメント機構を備えた効率的な映像表現ネットワークを提案する。
我々は、相性および非相性フレーム特徴を符号化するために、微分可能なコンテキスト対応圧縮モジュールを利用する。
我々は,異なる解像度のフレーム特徴間のグローバル時間相関を捉えるために,新しい解像度変換器層を導入する。
論文 参考訳（メタデータ） (2023-09-15T05:31:53Z) - Neural Progressive Meshes [54.52990060976026]
本稿では,共有学習空間を用いた3次元メッシュの伝送手法を提案する。
分割型エンコーダ・デコーダアーキテクチャを用いて,この空間を学習する。
本手法は複雑な3次元形状を多種多様な形状で評価し, 圧縮率と復元品質の点で, ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-10T17:58:02Z) - Online Streaming Video Super-Resolution with Convolutional Look-Up Table [26.628925884353674]
本稿では,オンライン・ストリーミング・ビデオ・スーパーレゾリューションの稀な問題設定に焦点を当てる。
LDV-WebRTCと呼ばれる新しいベンチマークデータセットは、現実世界のオンラインストリーミングシステムに基づいて構築されている。
そこで我々は, 異なる劣化に特化したLUTのセットを構築し, 適応的に組み合わせて, 異なる劣化に対処する, 実験用LUTモジュールを提案する。
論文 参考訳（メタデータ） (2023-03-01T08:54:56Z) - Distortion-Aware Network Pruning and Feature Reuse for Real-time Video
Segmentation [49.17930380106643]
本稿では,リアルタイム視覚タスクのスキップ接続によるアーキテクチャの高速化を目的とした新しいフレームワークを提案する。
具体的には、各フレームの到着時に、前のフレームから特徴を変換し、特定の空間的ビンで再利用する。
次に、現在のフレームの領域におけるバックボーンネットワークの部分計算を行い、現在のフレームと前のフレームの時間差をキャプチャする。
論文 参考訳（メタデータ） (2022-06-20T07:20:02Z) - Capturing Video Frame Rate Variations via Entropic Differencing [63.749184706461826]
一般化ガウス分布モデルに基づく新しい統計エントロピー差分法を提案する。
提案手法は,最近提案されたLIVE-YT-HFRデータベースにおいて,主観的スコアと非常によく相関する。
論文 参考訳（メタデータ） (2020-06-19T22:16:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。