論文の概要: VoLUT: Efficient Volumetric streaming enhanced by LUT-based super-resolution
- arxiv url: http://arxiv.org/abs/2502.12151v1
- Date: Mon, 17 Feb 2025 18:59:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:08:29.088888
- Title: VoLUT: Efficient Volumetric streaming enhanced by LUT-based super-resolution
- Title（参考訳）: VoLUT: LUTベース超解像による高効率ボリュームストリーミング
- Authors: Chendong Wang, Anlan Zhang, Yifan Yang, Lili Qiu, Yuqing Yang, Xinyang Jiang, Feng Qian, Suman Banerjee,
- Abstract要約: 3Dボリュームビデオは没入感のある体験を提供し、デジタルメディアで注目を集めている。
ボリュームビデオコンテンツのストリーミングは、データ帯域幅の要求が高いため、大きな課題となる。
帯域幅問題を緩和するための自然なアプローチは、転送前にコンテンツをダウンサンプリングすることで、ボリュームビデオのデータレートを下げることである。
ボリュームコンテンツに特化して設計された新しいSRアルゴリズムを用いて,VoLUTを開発した。
- 参考スコア（独自算出の注目度）: 25.1343065912991
- License:
- Abstract: 3D volumetric video provides immersive experience and is gaining traction in digital media. Despite its rising popularity, the streaming of volumetric video content poses significant challenges due to the high data bandwidth requirement. A natural approach to mitigate the bandwidth issue is to reduce the volumetric video's data rate by downsampling the content prior to transmission. The video can then be upsampled at the receiver's end using a super-resolution (SR) algorithm to reconstruct the high-resolution details. While super-resolution techniques have been extensively explored and advanced for 2D video content, there is limited work on SR algorithms tailored for volumetric videos. To address this gap and the growing need for efficient volumetric video streaming, we have developed VoLUT with a new SR algorithm specifically designed for volumetric content. Our algorithm uniquely harnesses the power of lookup tables (LUTs) to facilitate the efficient and accurate upscaling of low-resolution volumetric data. The use of LUTs enables our algorithm to quickly reference precomputed high-resolution values, thereby significantly reducing the computational complexity and time required for upscaling. We further apply adaptive video bit rate algorithm (ABR) to dynamically determine the downsampling rate according to the network condition and stream the selected video rate to the receiver. Compared to related work, VoLUT is the first to enable high-quality 3D SR on commodity mobile devices at line-rate. Our evaluation shows VoLUT can reduce bandwidth usage by 70% , boost QoE by 36.7% for volumetric video streaming and achieve 3D SR speed-up with no quality compromise.
- Abstract（参考訳）: 3Dボリュームビデオは没入感のある体験を提供し、デジタルメディアで注目を集めている。
人気が高まっているにもかかわらず、ボリュームビデオコンテンツのストリーミングは、データ帯域幅の要求が高いため、大きな課題を生んでいる。
帯域幅問題を緩和するための自然なアプローチは、転送前にコンテンツをダウンサンプリングすることで、ボリュームビデオのデータレートを下げることである。
ビデオは、高解像度の細部を再構築するために超高解像度(SR)アルゴリズムを使ってレシーバーの端でアップサンプリングされる。
超解像技術は2次元ビデオコンテンツのために広く研究され、高度化されているが、ボリュームビデオに適したSRアルゴリズムについては限定的な研究がなされている。
このギャップと、より効率的なボリュームビデオストリーミングの必要性に対処するため、我々は、ボリュームコンテンツに特化したSRアルゴリズムを新たに開発したVoLUTを開発した。
我々のアルゴリズムは、低解像度のボリュームデータの効率的かつ正確なアップスケーリングを容易にするために、ルックアップテーブル(LUT)のパワーを独自に活用する。
LUTを用いることで,事前計算した高分解能値の参照を迅速に行うことができ,アップスケーリングに要する計算量や時間を大幅に削減できる。
さらに、適応型ビデオビットレートアルゴリズム(ABR)を適用し、ネットワーク条件に応じてダウンサンプリング率を動的に決定し、選択したビデオレートを受信機にストリームする。
関連する作業と比較して、VoLUTは、ラインレートでコモディティモバイルデバイスで高品質な3D SRを実現する最初の方法である。
我々の評価では、VoLUTは帯域幅を70%削減し、QoEを36.7%向上させ、3D SRの高速化を実現し、品質を損なうことなく実現可能である。
関連論文リスト
- RL-RC-DoT: A Block-level RL agent for Task-Aware Video Compression [68.31184784672227]
自律運転のような現代的なアプリケーションでは、圧倒的多数のビデオがタスクを実行するAIシステムの入力として機能する。
したがって、画像の品質ではなく、下流タスクのためにエンコーダを最適化することが有用である。
ここでは、下流タスクを最適化するために、マクロブロックレベルで量子化パラメータ(QP)を制御することで、この問題に対処する。
論文 参考訳（メタデータ） (2025-01-21T15:36:08Z) - Standard compliant video coding using low complexity, switchable neural wrappers [8.149130379436759]
標準互換性、高性能、低復号化の複雑さを特徴とする新しいフレームワークを提案する。
私たちは、標準的なビデオをラップして、異なる解像度でビデオをエンコードする、共同最適化されたニューラルプリプロセッサとポストプロセッサのセットを使用します。
我々は、異なるアップサンプリング比を処理できる低複雑性のニューラルポストプロセッサアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-07-10T06:36:45Z) - Super Efficient Neural Network for Compression Artifacts Reduction and
Super Resolution [2.0762623979470205]
本稿では,人工物削減と超解像を同時に行う軽量畳み込みニューラルネットワーク(CNN)に基づくアルゴリズムを提案する。
その結果,従来のアップスケーリング手法と比較して,ビデオマルチメソッド評価融合(VMAF)スコアが4～6増加していた。
論文 参考訳（メタデータ） (2024-01-26T04:11:14Z) - Towards High-Quality and Efficient Video Super-Resolution via
Spatial-Temporal Data Overfitting [27.302681897961588]
ディープ畳み込みニューラルネットワーク(DNN)はコンピュータビジョンの様々な分野で広く使われている。
高品質で効率的なビデオ解像度アップスケーリングタスクのための新しい手法を提案する。
市販の携帯電話にモデルをデプロイし,実験結果から,映像品質の高いリアルタイムビデオ解像度を実現することが確認された。
論文 参考訳（メタデータ） (2023-03-15T02:40:02Z) - Towards Interpretable Video Super-Resolution via Alternating
Optimization [115.85296325037565]
低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。
本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-21T21:34:05Z) - Deep Parametric 3D Filters for Joint Video Denoising and Illumination
Enhancement in Video Super Resolution [96.89588203312451]
本稿では,Deep Parametric 3D Filters (DP3DF) と呼ばれる新しいパラメトリック表現を提案する。
DP3DFは、ローカル情報を組み込んで、単一エンコーダ/デコーダネットワークにおいて、同時復調、照明強化、SRを効率的に実現している。
また、動的残留フレームを共有バックボーンを介してDP3DFと共同で学習し、SR品質をさらに向上させる。
論文 参考訳（メタデータ） (2022-07-05T03:57:25Z) - Neural Vocoder is All You Need for Speech Super-resolution [56.84715616516612]
音声スーパーレゾリューション(SR)は、高周波成分を生成して音声サンプリング率を高めるタスクである。
既存の音声SR法は、固定的なアップサンプリング比のような制約のある実験環境で訓練される。
本稿では,ニューラルボコーダを用いた音声超解法(NVSR)を提案する。
論文 参考訳（メタデータ） (2022-03-28T17:51:00Z) - Self-Conditioned Probabilistic Learning of Video Rescaling [70.10092286301997]
本稿では,ビデオ再スケーリングのための自己条件付き確率的フレームワークを提案し,ペアダウンスケーリングとアップスケーリングの手順を同時に学習する。
我々は、その条件付き確率を強い時空間事前情報に基づいて最大化することにより、ダウンスケーリングで失われた情報のエントロピーを減少させる。
我々は、このフレームワークを、非微分産業損失コーデックの勾配推定器として提案する、損失のあるビデオ圧縮システムに拡張する。
論文 参考訳（メタデータ） (2021-07-24T15:57:15Z) - Multi-Density Attention Network for Loop Filtering in Video Compression [9.322800480045336]
ビデオ圧縮におけるループフィルタリングのためのオンラインスケーリングに基づく多密度注意ネットワークを提案する。
実験の結果、同じビデオ品質で10.18%のビットレート削減が最新のVVC(Versatile Video Coding)規格で達成できることが示された。
論文 参考訳（メタデータ） (2021-04-08T05:46:38Z) - Deep Space-Time Video Upsampling Networks [47.62807427163614]
ビデオ超解像(VSR)とフレーム(FI)は伝統的なコンピュータビジョンの問題である。
本稿では, VSR と FI を効率よく融合して, 時空ビデオアップサンプリングを行うためのエンドツーエンドフレームワークを提案する。
その結果, 時間(x7速)とパラメータ数(30%)を基準線と比較し, 定量的, 質的にも良好な結果が得られた。
論文 参考訳（メタデータ） (2020-04-06T07:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。