論文の概要: Learning Kernel-Modulated Neural Representation for Efficient Light Field Compression

• arxiv url: http://arxiv.org/abs/2307.06143v1
• Date: Wed, 12 Jul 2023 12:58:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 13:01:22.933055
• Title: Learning Kernel-Modulated Neural Representation for Efficient Light Field Compression
• Title（参考訳）: 効率的な光場圧縮のための学習カーネル変調ニューラル表現
• Authors: Jinglei Shi and Yihong Xu and Christine Guillemot
• Abstract要約: 光場圧縮タスクのためのコンパクトニューラルネットワーク表現を設計する。 トレーニング中に学んだシーン記述情報を格納する記述カーネル(ディスクリプタ)と、クエリされた視点から異なるSAIのレンダリングを制御する変調カーネル(モジュレータ)の2種類で構成されている。
• 参考スコア（独自算出の注目度）: 41.24757573290883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Light field is a type of image data that captures the 3D scene information by recording light rays emitted from a scene at various orientations. It offers a more immersive perception than classic 2D images but at the cost of huge data volume. In this paper, we draw inspiration from the visual characteristics of Sub-Aperture Images (SAIs) of light field and design a compact neural network representation for the light field compression task. The network backbone takes randomly initialized noise as input and is supervised on the SAIs of the target light field. It is composed of two types of complementary kernels: descriptive kernels (descriptors) that store scene description information learned during training, and modulatory kernels (modulators) that control the rendering of different SAIs from the queried perspectives. To further enhance compactness of the network meanwhile retain high quality of the decoded light field, we accordingly introduce modulator allocation and kernel tensor decomposition mechanisms, followed by non-uniform quantization and lossless entropy coding techniques, to finally form an efficient compression pipeline. Extensive experiments demonstrate that our method outperforms other state-of-the-art (SOTA) methods by a significant margin in the light field compression task. Moreover, after aligning descriptors, the modulators learned from one light field can be transferred to new light fields for rendering dense views, indicating a potential solution for view synthesis task.
• Abstract（参考訳）: 光野とは、様々な方向のシーンから放射される光を記録して3Dシーン情報をキャプチャする画像データの一種である。 従来の2D画像よりも没入感に富むが、膨大なデータ量を必要とする。 本稿では,光フィールドのサブアパーチャ画像(SAI)の視覚特性からインスピレーションを得て,光フィールド圧縮タスクのためのコンパクトニューラルネットワーク表現を設計する。 ネットワークバックボーンはランダムに初期化されたノイズを入力として取り、ターゲットライトフィールドのサイスに監督される。 トレーニング中に学んだシーン記述情報を格納する記述カーネル(ディスクリプタ)と、クエリされた視点から異なるSAIのレンダリングを制御する変調カーネル(モジュレータ)の2種類で構成されている。 復号化光フィールドの高品質を保ちながらネットワークのコンパクト性をさらに向上するため,変調器の割り当てとカーネルテンソル分解機構を導入し,非一様量子化とロスレスエントロピー符号化技術を導入し,最終的に効率的な圧縮パイプラインを形成する。 広汎な実験により,本手法は光場圧縮タスクにおいて,他の最先端(SOTA)手法よりも優れた性能を示した。 さらに、ディスクリプタを整列した後、一つの光フィールドから学習した変調器を新しい光フィールドに転送して、濃密なビューをレンダリングし、ビュー合成タスクの潜在的な解決策を示すことができる。

関連論文リスト

• Light Field Compression Based on Implicit Neural Representation [10.320292226135306]
  本稿では,暗黙的ニューラル表現に基づく新しい光場圧縮手法を提案し,ビュー間の冗長性を低減した。 ニューラルネットワークに暗黙的に光画像の情報を格納し、暗黙の表現をさらに圧縮するためにモデル圧縮手法を採用する。
  論文  参考訳（メタデータ） (2024-05-07T12:17:46Z)
• CodeEnhance: A Codebook-Driven Approach for Low-Light Image Enhancement [97.95330185793358]
  低照度画像強調(LLIE)は、低照度画像を改善することを目的としている。 既存の手法では、様々な明るさ劣化からの回復の不確実性と、テクスチャと色情報の喪失という2つの課題に直面している。 我々は、量子化された先行値と画像の精細化を利用して、新しいエンハンスメント手法、CodeEnhanceを提案する。
  論文  参考訳（メタデータ） (2024-04-08T07:34:39Z)
• Low-Light Image Enhancement with Illumination-Aware Gamma Correction and Complete Image Modelling Network [69.96295927854042]
  低照度環境は通常、情報の少ない大規模な暗黒地帯に繋がる。 本稿では,ガンマ補正の有効性を深層ネットワークのモデリング能力と統合することを提案する。 指数関数演算は高い計算複雑性をもたらすので、Taylor Series を用いてガンマ補正を近似することを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:46:51Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• Scattering-induced entropy boost for highly-compressed optical sensing and encryption [7.502671257653539]
  画像センシングは、大きな視野と高解像度を持つ高品質のマシンビジョンシステムに依存していることが多い。 資源効率の高い画像分類のための新しい画像フリーセンシングフレームワークを提案する。 提案手法は, MNISTデータセットの分類において, サンプリングレートが1%, 5%で95%以上精度が得られた。
  論文  参考訳（メタデータ） (2022-12-16T09:00:42Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Learning-Based Practical Light Field Image Compression Using A Disparity-Aware Model [1.5229257192293197]
  本研究では,4次元光場画像の圧縮のための学習型不均一支援モデルを提案する。 モデルはエンドツーエンドのトレーニングが可能で、別のモジュールを手動でチューニングする必要がなくなる。 PSNRとMS-SSIMの指標で比較すると,性能が向上している。
  論文  参考訳（メタデータ） (2021-06-22T06:30:25Z)
• Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications [78.63280020581662]
  スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。 最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
  論文  参考訳（メタデータ） (2021-03-24T08:16:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。