論文の概要: Learning-based Spatial and Angular Information Separation for Light Field Compression

• arxiv url: http://arxiv.org/abs/2304.06322v2
• Date: Sun, 27 Aug 2023 06:21:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 00:03:59.743225
• Title: Learning-based Spatial and Angular Information Separation for Light Field Compression
• Title（参考訳）: 光場圧縮のための学習型空間情報と角情報分離
• Authors: Jinglei Shi, Yihong Xu, Christine Guillemot
• Abstract要約: 光場の角情報と空間情報を分離できる新しいニューラルネットワークを提案する。 ネットワークは、全サブアパーチャ画像(SAI)間で共有される空間カーネルを用いて空間情報を表現し、各SAIに対して角カーネルの集合を用いた角情報を表す。
• 参考スコア（独自算出の注目度）: 29.827366575505557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Light fields are a type of image data that capture both spatial and angular scene information by recording light rays emitted by a scene from different orientations. In this context, spatial information is defined as features that remain static regardless of perspectives, while angular information refers to features that vary between viewpoints. We propose a novel neural network that, by design, can separate angular and spatial information of a light field. The network represents spatial information using spatial kernels shared among all Sub-Aperture Images (SAIs), and angular information using sets of angular kernels for each SAI. To further improve the representation capability of the network without increasing parameter number, we also introduce angular kernel allocation and kernel tensor decomposition mechanisms. Extensive experiments demonstrate the benefits of information separation: when applied to the compression task, our network outperforms other state-of-the-art methods by a large margin. And angular information can be easily transferred to other scenes for rendering dense views, showing the successful separation and the potential use case for the view synthesis task. We plan to release the code upon acceptance of the paper to encourage further research on this topic.
• Abstract（参考訳）: ライトフィールド(light fields)は、異なる方向からシーンから放出される光を記録して、空間的および角的シーン情報の両方をキャプチャする画像データの一種である。 この文脈では、空間情報は視点に関係なく静的に残る特徴として定義されるが、角情報は視点によって異なる特徴を指す。 本稿では,光場の角度情報と空間情報を分離できる新しいニューラルネットワークを提案する。 ネットワークは、全サブアパーチャ画像(sais)間で共有される空間カーネルと、各saiの角カーネルの集合を用いた角情報を用いて空間情報を表現する。 パラメータ数を増やすことなくネットワークの表現能力をさらに向上するため,角カーネル割り当てとカーネルテンソル分解機構を導入する。 圧縮タスクに適用した場合、我々のネットワークは、他の最先端手法よりも大きなマージンで優れています。 そして、角情報を簡単に他のシーンに転送し、密集したビューをレンダリングし、ビュー合成タスクの分離と潜在的なユースケースを示す。 我々は,この話題についてさらなる研究を奨励するため,論文の受理時にコードを公開する予定だ。

関連論文リスト

• OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic Segmentation [48.828453331724965]
  我々は,Omni-Aperture Fusion Model (OAFuser) を提案する。 提案したOAFuserは,すべての評価指標から4つのUrbanLFデータセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-28T14:43:27Z)
• Learning Kernel-Modulated Neural Representation for Efficient Light Field Compression [41.24757573290883]
  光場圧縮タスクのためのコンパクトニューラルネットワーク表現を設計する。 トレーニング中に学んだシーン記述情報を格納する記述カーネル(ディスクリプタ)と、クエリされた視点から異なるSAIのレンダリングを制御する変調カーネル(モジュレータ)の2種類で構成されている。
  論文  参考訳（メタデータ） (2023-07-12T12:58:03Z)
• De-coupling and De-positioning Dense Self-supervised Learning [65.56679416475943]
  Dense Self-Supervised Learning (SSL)メソッドは、複数のオブジェクトでイメージを処理する際に、画像レベルの特徴表現を使用する際の制限に対処する。 本研究は, 層深度やゼロパディングに伴う受容野の増大によって生じる, 結合と位置バイアスに悩まされていることを示す。 我々はCOCOにおける本手法の利点と、オブジェクト分類、セマンティックセグメンテーション、オブジェクト検出のための新しい挑戦的ベンチマークであるOpenImage-MINIについて示す。
  論文  参考訳（メタデータ） (2023-03-29T18:07:25Z)
• SADN: Learned Light Field Image Compression with Spatial-Angular Decorrelation [15.262518233068622]
  本稿では,高効率光場画像圧縮のための新しい端から端までの空間角デコラーネットワーク(SADN)を提案する。 提案手法は,H.266/VVCとH.265/HEVCに対して2.137倍,圧縮効率が2.849倍である。 また、画像圧縮ネットワークを平均79.6%の節約率で上回り、主観的品質と光界の整合性が向上した。
  論文  参考訳（メタデータ） (2022-02-22T11:53:52Z)
• Content-aware Warping for View Synthesis [110.54435867693203]
  本稿では,比較的大きな近傍の画素の重みを,軽量ニューラルネットワークによる文脈情報から適応的に学習するコンテンツ認識ワープを提案する。 この学習可能なワープモジュールに基づいて、2つのソースビューから新しいビューを合成するエンド・ツー・エンドの学習ベースのフレームワークを提案する。 広いベースラインと非構造的多視点データセットを有する構造的光フィールドデータセットの実験結果から,提案手法は,定量的かつ視覚的に,最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-01-22T11:35:05Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)
• Light Field Implicit Representation for Flexible Resolution Reconstruction [9.173467982128514]
  入力ビューのスパースセットに条件付き4次元光場を暗黙的に表現するモデルを提案する。 我々のモデルは、連続的な座標の光場値を出力するように訓練されている。 実験により,本手法は,高速かつ高速なビュー合成のための最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-30T23:59:02Z)
• Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications [78.63280020581662]
  スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。 最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
  論文  参考訳（メタデータ） (2021-03-24T08:16:32Z)
• Angular Luminance for Material Segmentation [6.374538197161135]
  移動カメラは1ピクセルあたりの複数の強度測定を提供するが、セマンティックセグメンテーション、材料認識、オブジェクト認識ではこの情報は利用できない。 我々は、表面の物質を識別する鍵となる特徴として、画素ごとの角の輝度分布を利用する。 現実世界の物質には、アンギュラー輝度ネットワーク(AngLNet)を構築することで管理できるクラス内変異が顕著である。
  論文  参考訳（メタデータ） (2020-09-22T21:15:27Z)
• Spatial-Angular Attention Network for Light Field Reconstruction [64.27343801968226]
  非局所的な光場における対応を知覚する空間角アテンションネットワークを提案する。 非局所的なアテンション機構により、光界の各画素に対するエピポーラ面の全ての位置からの応答を計算するために、空間角アテンションモジュールが導入された。 次に,低空間スケールでの非局所的注意を効果的に実装するためのマルチスケール再構成構造を提案する。
  論文  参考訳（メタデータ） (2020-07-05T06:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。