論文の概要: Neural Network Assisted Depth Map Packing for Compression Using Standard
Hardware Video Codecs
- arxiv url: http://arxiv.org/abs/2206.15183v1
- Date: Thu, 30 Jun 2022 10:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 15:53:54.255015
- Title: Neural Network Assisted Depth Map Packing for Compression Using Standard
Hardware Video Codecs
- Title(参考訳): 標準ハードウェアビデオコーデックを用いた圧縮のためのニューラルネットワーク支援深度マップパッキング
- Authors: Matti Siekkinen and Teemu K\"am\"ar\"ainen
- Abstract要約: 本稿では,ニューラルネットワークモデルによって支援された可変精度パッキング手法を提案する。
モデルが最適な予測に近づき、非常に低いオーバーヘッドでゲームエンジンに統合できることを実証する。
- 参考スコア(独自算出の注目度): 0.38073142980732994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth maps are needed by various graphics rendering and processing
operations. Depth map streaming is often necessary when such operations are
performed in a distributed system and it requires in most cases fast performing
compression, which is why video codecs are often used. Hardware implementations
of standard video codecs enable relatively high resolution and framerate
combinations, even on resource constrained devices, but unfortunately those
implementations do not currently support RGB+depth extensions. However, they
can be used for depth compression by first packing the depth maps into RGB or
YUV frames. We investigate depth map compression using a combination of depth
map packing followed by encoding with a standard video codec. We show that the
precision at which depth maps are packed has a large and nontrivial impact on
the resulting error caused by the combination of the packing scheme and lossy
compression when bitrate is constrained. Consequently, we propose a variable
precision packing scheme assisted by a neural network model that predicts the
optimal precision for each depth map given a bitrate constraint. We demonstrate
that the model yields near optimal predictions and that it can be integrated
into a game engine with very low overhead using modern hardware.
- Abstract(参考訳): 深度マップは様々なグラフィックスレンダリングと処理操作で必要とされる。
深度マップのストリーミングは、そのような操作を分散システムで実行する場合に必要であり、多くの場合、高速な圧縮を必要とする。
標準的なビデオコーデックのハードウェア実装はリソース制約のあるデバイスでも比較的高解像度とフレームレートの組み合わせを可能にするが、残念ながらこれらの実装はRGB+depth拡張をサポートしていない。
しかし、深度マップをRGBまたはYUVフレームにパックすることで、深度圧縮に使用できる。
深度マップパッキングと標準ビデオコーデックの符号化を組み合わせた深度マップ圧縮について検討した。
本研究では, 深度マップが充填された精度が, ビットレート制約時のパッキングスキームと損失圧縮の組み合わせによる誤差に大きく, 非自明な影響を与えることを示す。
そこで我々は,ビットレート制約が与えられた深度マップの最適精度を予測するニューラルネットワークモデルを用いて,可変精度パッキング手法を提案する。
このモデルは最適予測に近い結果をもたらし、現代的なハードウェアを用いて非常に低いオーバーヘッドでゲームエンジンに統合できることを実証する。
関連論文リスト
- MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large
Multimodal Model [81.35367970135778]
本稿では,マルチモーダル画像セマンティック圧縮法を提案する。
画像の意味情報を抽出するLMMエンコーダと、その意味に対応する領域を特定するマップエンコーダと、非常に圧縮されたビットストリームを生成する画像エンコーダと、前記情報に基づいて画像を再構成するデコーダとからなる。
知覚50%を節約しながら最適な一貫性と知覚結果を達成することができ、これは次世代のストレージと通信において強力な可能性を持つ。
論文 参考訳(メタデータ) (2024-02-26T17:11:11Z) - You Can Mask More For Extremely Low-Bitrate Image Compression [80.7692466922499]
近年,学習画像圧縮(lic)法は大きな進歩を遂げている。
licメソッドは、画像圧縮に不可欠な画像構造とテクスチャコンポーネントを明示的に探索することができない。
原画像の構造とテクスチャに基づいて可視パッチをサンプリングするDA-Maskを提案する。
極めて低ビットレート圧縮のために, lic と lic のエンドツーエンドを統一する最初のフレームワークである, 単純で効果的なマスク付き圧縮モデル (MCM) を提案する。
論文 参考訳(メタデータ) (2023-06-27T15:36:22Z) - Gemino: Practical and Robust Neural Compression for Video Conferencing [19.137804113000474]
Geminoは、新しい高周波超解像パイプラインに基づくビデオ会議のための新しいニューラル圧縮システムである。
我々は,GeminoがTitan X GPU上でリアルタイムに動画を処理し,従来のビデオコーデックよりも2.2~5倍低画質で知覚品質を実現していることを示す。
論文 参考訳(メタデータ) (2022-09-21T17:10:46Z) - Exploring Long- and Short-Range Temporal Information for Learned Video
Compression [54.91301930491466]
圧縮性能を高めるために,映像コンテンツの特徴を活かし,時間的情報を探究することに注力する。
本稿では,画像群(GOP)内で画像の推測中に連続的に更新できる時間前処理を提案する。
この場合、時間的事前は、現在のGOP内のすべてのデコードされた画像の貴重な時間的情報を含む。
本稿では,マルチスケール補償を実現する階層構造を設計する。
論文 参考訳(メタデータ) (2022-08-07T15:57:18Z) - Block Modulating Video Compression: An Ultra Low Complexity Image
Compression Encoder for Resource Limited Platforms [15.646001803032421]
省電力・計算資源の少ないモバイルプラットフォーム上で, BMVCの超低コスト化が提案されている。
ディープニューラルネットワークによって実装された2種類のBMVCデコーダを提示する。
論文 参考訳(メタデータ) (2022-05-07T16:20:09Z) - End-to-end lossless compression of high precision depth maps guided by
pseudo-residual [6.213322670014608]
高精度深度マップの圧縮率を向上した新しい圧縮法を検討することが急務である。
本稿では,高精度深度マップのためのエンドツーエンド学習に基づくロスレス圧縮手法を提案する。
論文 参考訳(メタデータ) (2022-01-10T07:19:02Z) - A New Image Codec Paradigm for Human and Machine Uses [53.48873918537017]
本研究では,人間用と機械用の両方にスケーラブルな画像パラダイムを提案する。
高レベルのインスタンスセグメンテーションマップと低レベルの信号特徴をニューラルネットワークで抽出する。
画像は16ビットのグレースケールプロファイルと信号特徴を持つ一般的な画質のイメージ再構成を実現するために設計および訓練される。
論文 参考訳(メタデータ) (2021-12-19T06:17:38Z) - Deep Contextual Video Compression [20.301569390401102]
本稿では,予測符号化から条件付き符号化へのパラダイムシフトを実現するための,深い文脈ビデオ圧縮フレームワークを提案する。
提案手法は従来のSOTA(State-of-theart)ディープビデオ圧縮法よりも大幅に優れる。
論文 参考訳(メタデータ) (2021-09-30T12:14:24Z) - Learning to Localize Through Compressed Binary Maps [83.03367511221437]
私たちは、地図表現をローカリゼーションタスクに最適なように圧縮することを学びます。
本実験により,汎用コーデック上での2桁のストレージ要求を削減できるタスク固有圧縮を学習できることが示唆された。
論文 参考訳(メタデータ) (2020-12-20T14:47:15Z) - How to Exploit the Transferability of Learned Image Compression to
Conventional Codecs [25.622863999901874]
本稿では,学習した画像の符号化をサロゲートとして利用して,画像の符号化を最適化する方法を示す。
提案手法は,MS-SSIM歪みをデコードオーバーヘッドを伴わずに20%以上の速度改善で補正するために,従来の画像を再構成することができる。
論文 参考訳(メタデータ) (2020-12-03T12:34:51Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳(メタデータ) (2020-03-25T09:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。