論文の概要: Neural Network Assisted Depth Map Packing for Compression Using Standard Hardware Video Codecs

• arxiv url: http://arxiv.org/abs/2206.15183v1
• Date: Thu, 30 Jun 2022 10:46:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 15:53:54.255015
• Title: Neural Network Assisted Depth Map Packing for Compression Using Standard Hardware Video Codecs
• Title（参考訳）: 標準ハードウェアビデオコーデックを用いた圧縮のためのニューラルネットワーク支援深度マップパッキング
• Authors: Matti Siekkinen and Teemu K\"am\"ar\"ainen
• Abstract要約: 本稿では,ニューラルネットワークモデルによって支援された可変精度パッキング手法を提案する。 モデルが最適な予測に近づき、非常に低いオーバーヘッドでゲームエンジンに統合できることを実証する。
• 参考スコア（独自算出の注目度）: 0.38073142980732994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth maps are needed by various graphics rendering and processing operations. Depth map streaming is often necessary when such operations are performed in a distributed system and it requires in most cases fast performing compression, which is why video codecs are often used. Hardware implementations of standard video codecs enable relatively high resolution and framerate combinations, even on resource constrained devices, but unfortunately those implementations do not currently support RGB+depth extensions. However, they can be used for depth compression by first packing the depth maps into RGB or YUV frames. We investigate depth map compression using a combination of depth map packing followed by encoding with a standard video codec. We show that the precision at which depth maps are packed has a large and nontrivial impact on the resulting error caused by the combination of the packing scheme and lossy compression when bitrate is constrained. Consequently, we propose a variable precision packing scheme assisted by a neural network model that predicts the optimal precision for each depth map given a bitrate constraint. We demonstrate that the model yields near optimal predictions and that it can be integrated into a game engine with very low overhead using modern hardware.
• Abstract（参考訳）: 深度マップは様々なグラフィックスレンダリングと処理操作で必要とされる。 深度マップのストリーミングは、そのような操作を分散システムで実行する場合に必要であり、多くの場合、高速な圧縮を必要とする。 標準的なビデオコーデックのハードウェア実装はリソース制約のあるデバイスでも比較的高解像度とフレームレートの組み合わせを可能にするが、残念ながらこれらの実装はRGB+depth拡張をサポートしていない。 しかし、深度マップをRGBまたはYUVフレームにパックすることで、深度圧縮に使用できる。 深度マップパッキングと標準ビデオコーデックの符号化を組み合わせた深度マップ圧縮について検討した。 本研究では, 深度マップが充填された精度が, ビットレート制約時のパッキングスキームと損失圧縮の組み合わせによる誤差に大きく, 非自明な影響を与えることを示す。 そこで我々は,ビットレート制約が与えられた深度マップの最適精度を予測するニューラルネットワークモデルを用いて,可変精度パッキング手法を提案する。 このモデルは最適予測に近い結果をもたらし、現代的なハードウェアを用いて非常に低いオーバーヘッドでゲームエンジンに統合できることを実証する。

関連論文リスト

• High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
  強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。 階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。 トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
  論文  参考訳（メタデータ） (2024-10-03T15:40:58Z)
• Map-Assisted Remote-Sensing Image Compression at Extremely Low Bitrates [47.47031054057152]
  生成モデルはRS画像を極低ビットレートストリームに圧縮するために研究されている。 これらの生成モデルは、非常に低ビットレート画像圧縮の極めて不適切な性質のため、視覚的に可視な画像の再構成に苦慮している。 本研究では,高現実性再構築を実現するために,自然画像に先行した事前学習拡散モデルを用いた画像圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-03T14:29:54Z)
• A Perspective on Deep Vision Performance with Standard Image and Video Codecs [41.73262031925552]
  エッジデバイスや携帯電話などのリソース制約のあるハードウェアは、ディープビジョンモデルにおける推論に必要な計算リソースを提供するために、クラウドサーバーに依存していることが多い。 本稿では,ディープビジョンパイプラインにおける標準化コーデックの導入がもたらす意味について検討する。 JPEGとH.264の符号化により、幅広い視覚タスクやモデルにおける精度が大幅に低下することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T16:58:05Z)
• MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large Multimodal Model [78.4051835615796]
  本稿では,マルチモーダル画像セマンティック圧縮法を提案する。 画像の意味情報を抽出するLMMエンコーダと、その意味に対応する領域を特定するマップエンコーダと、非常に圧縮されたビットストリームを生成する画像エンコーダと、前記情報に基づいて画像を再構成するデコーダとからなる。 知覚50%を節約しながら最適な一貫性と知覚結果を達成することができ、これは次世代のストレージと通信において強力な可能性を持つ。
  論文  参考訳（メタデータ） (2024-02-26T17:11:11Z)
• You Can Mask More For Extremely Low-Bitrate Image Compression [80.7692466922499]
  近年,学習画像圧縮(lic)法は大きな進歩を遂げている。 licメソッドは、画像圧縮に不可欠な画像構造とテクスチャコンポーネントを明示的に探索することができない。 原画像の構造とテクスチャに基づいて可視パッチをサンプリングするDA-Maskを提案する。 極めて低ビットレート圧縮のために, lic と lic のエンドツーエンドを統一する最初のフレームワークである, 単純で効果的なマスク付き圧縮モデル (MCM) を提案する。
  論文  参考訳（メタデータ） (2023-06-27T15:36:22Z)
• Block Modulating Video Compression: An Ultra Low Complexity Image Compression Encoder for Resource Limited Platforms [35.76050232152349]
  省電力・計算資源の少ないモバイルプラットフォーム上で, BMVCの超低コスト化が提案されている。 ディープニューラルネットワークによって実装された2種類のBMVCデコーダを提示する。
  論文  参考訳（メタデータ） (2022-05-07T16:20:09Z)
• End-to-end lossless compression of high precision depth maps guided by pseudo-residual [6.213322670014608]
  高精度深度マップの圧縮率を向上した新しい圧縮法を検討することが急務である。 本稿では,高精度深度マップのためのエンドツーエンド学習に基づくロスレス圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-01-10T07:19:02Z)
• A New Image Codec Paradigm for Human and Machine Uses [53.48873918537017]
  本研究では,人間用と機械用の両方にスケーラブルな画像パラダイムを提案する。 高レベルのインスタンスセグメンテーションマップと低レベルの信号特徴をニューラルネットワークで抽出する。 画像は16ビットのグレースケールプロファイルと信号特徴を持つ一般的な画質のイメージ再構成を実現するために設計および訓練される。
  論文  参考訳（メタデータ） (2021-12-19T06:17:38Z)
• Deep Contextual Video Compression [20.301569390401102]
  本稿では,予測符号化から条件付き符号化へのパラダイムシフトを実現するための,深い文脈ビデオ圧縮フレームワークを提案する。 提案手法は従来のSOTA(State-of-theart)ディープビデオ圧縮法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-09-30T12:14:24Z)
• Learning to Localize Through Compressed Binary Maps [83.03367511221437]
  私たちは、地図表現をローカリゼーションタスクに最適なように圧縮することを学びます。 本実験により,汎用コーデック上での2桁のストレージ要求を削減できるタスク固有圧縮を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-12-20T14:47:15Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。