論文の概要: 3D-GP-LMVIC: Learning-based Multi-View Image Coding with 3D Gaussian Geometric Priors

• arxiv url: http://arxiv.org/abs/2409.04013v1
• Date: Fri, 6 Sep 2024 03:53:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 16:48:15.977532
• Title: 3D-GP-LMVIC: Learning-based Multi-View Image Coding with 3D Gaussian Geometric Priors
• Title（参考訳）: 3D-GP-LMVIC:3次元ガウス幾何学的事前情報を用いた学習型多視点画像符号化
• Authors: Yujun Huang, Bin Chen, Niu Lian, Baoyi An, Shu-Tao Xia,
• Abstract要約: 3次元ガウス幾何学的先行情報を用いた学習型多視点画像符号化(3D-GP-LMVIC)を提案する。 提案手法は3次元ガウス散乱を利用して3次元シーンの幾何学的先行を導出し,より正確な距離推定を可能にする。 また、ビュー間の幾何学的情報の冗長性を低減するために、深度マップ圧縮モデルも導入された。
• 参考スコア（独自算出の注目度）: 42.27461884229915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-view image compression is vital for 3D-related applications. To effectively model correlations between views, existing methods typically predict disparity between two views on a 2D plane, which works well for small disparities, such as in stereo images, but struggles with larger disparities caused by significant view changes. To address this, we propose a novel approach: learning-based multi-view image coding with 3D Gaussian geometric priors (3D-GP-LMVIC). Our method leverages 3D Gaussian Splatting to derive geometric priors of the 3D scene, enabling more accurate disparity estimation across views within the compression model. Additionally, we introduce a depth map compression model to reduce redundancy in geometric information between views. A multi-view sequence ordering method is also proposed to enhance correlations between adjacent views. Experimental results demonstrate that 3D-GP-LMVIC surpasses both traditional and learning-based methods in performance, while maintaining fast encoding and decoding speed.
• Abstract（参考訳）: マルチビュー画像圧縮は3Dアプリケーションにとって不可欠である。 ビュー間の相関を効果的にモデル化するために、既存の手法は2次元平面上の2つのビュー間の差異を予測している。 そこで本研究では,3次元ガウス幾何学的先行3D-GP-LMVICを用いた学習に基づく多視点画像符号化手法を提案する。 提案手法は,3次元ガウススプラッティングを用いて3次元シーンの幾何学的先行を導出し,圧縮モデル内のビュー間でのより正確な差分推定を可能にする。 さらに,ビュー間の幾何学的情報の冗長性を低減するために,深度マップ圧縮モデルを導入する。 また,隣接するビュー間の相関性を高めるために,マルチビューシーケンス順序付け手法を提案する。 実験結果から,3D-GP-LMVICは高速符号化と復号速度を維持しつつ,従来の手法と学習法の両方を上回る性能を示した。

関連論文リスト

• G-NeRF: Geometry-enhanced Novel View Synthesis from Single-View Images [45.66479596827045]
  我々は,幾何誘導多視点合成手法により,幾何先行性を高めるための幾何強調型NeRF(G-NeRF)を提案する。 単一視点画像に対する多視点監視の欠如に対処するために,深度認識型トレーニングアプローチを設計する。
  論文  参考訳（メタデータ） (2024-04-11T04:58:18Z)
• MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
  本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。 提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:57Z)
• LFM-3D: Learnable Feature Matching Across Wide Baselines Using 3D Signals [9.201550006194994]
  学習可能なマーカは、画像ペア間のコビジュアビリティの小さな領域だけが存在する場合、しばしば性能が低下する。 グラフニューラルネットワークに基づくモデルを用いた学習可能な特徴マッチングフレームワーク LFM-3D を提案する。 その結果,画像対の相対的ポーズ精度が向上し,画像対の相対的ポーズ精度が向上することがわかった。
  論文  参考訳（メタデータ） (2023-03-22T17:46:27Z)
• PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition [55.38462937452363]
  本稿では,教師として事前訓練されたディープイメージエンコーダ,学生としてディープポイントエンコーダを含む多視点クロスモーダル蒸留アーキテクチャを提案する。 複数ビューの視覚的および幾何学的記述子をペアワイズにアライメントすることで、より強力なディープポイントエンコーダを、疲労や複雑なネットワーク修正を伴わずに得ることができる。
  論文  参考訳（メタデータ） (2022-07-07T07:23:20Z)
• Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis [48.33860286920389]
  3D認識画像合成は、3D表現を学習することにより、複数のビューからオブジェクトの画像を生成することを目的としている。 既存のアプローチには幾何学的制約がないため、通常はマルチビュー一貫性のある画像を生成することができない。 幾何制約付き高品質な3次元画像合成のためのマルチビュー一貫性ジェネレータネットワーク(MVCGAN)を提案する。
  論文  参考訳（メタデータ） (2022-04-13T11:23:09Z)
• Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images [79.70127290464514]
  我々は,タスクを2つの段階,すなわち人物のローカライゼーションとポーズ推定に分解する。 また,効率的なメッセージパッシングのための3つのタスク固有グラフニューラルネットワークを提案する。 提案手法は,CMU Panoptic と Shelf のデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-09-13T11:44:07Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。