論文の概要: Towards Balanced RGB-TSDF Fusion for Consistent Semantic Scene Completion by 3D RGB Feature Completion and a Classwise Entropy Loss Function

• arxiv url: http://arxiv.org/abs/2403.16888v1
• Date: Mon, 25 Mar 2024 15:56:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 20:44:21.755236
• Title: Towards Balanced RGB-TSDF Fusion for Consistent Semantic Scene Completion by 3D RGB Feature Completion and a Classwise Entropy Loss Function
• Title（参考訳）: 3次元RGB特徴補完とクラスエントロピー損失関数による連続的シーン補完のための平衡RGB-TSDF融合に向けて
• Authors: Laiyan Ding, Panwen Hu, Jie Li, Rui Huang,
• Abstract要約: RGB-TSDF 融合は非自明なものと考えられており、一般的に使用されるナイーブ付加は矛盾する結果をもたらす。 本稿では、3D RGB機能補完モジュールを備えた2段階ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 10.22925811541619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic Scene Completion (SSC) aims to jointly infer semantics and occupancies of 3D scenes. Truncated Signed Distance Function (TSDF), a 3D encoding of depth, has been a common input for SSC. Furthermore, RGB-TSDF fusion, seems promising since these two modalities provide color and geometry information, respectively. Nevertheless, RGB-TSDF fusion has been considered nontrivial and commonly-used naive addition will result in inconsistent results. We argue that the inconsistency comes from the sparsity of RGB features upon projecting into 3D space, while TSDF features are dense, leading to imbalanced feature maps when summed up. To address this RGB-TSDF distribution difference, we propose a two-stage network with a 3D RGB feature completion module that completes RGB features with meaningful values for occluded areas. Moreover, we propose an effective classwise entropy loss function to punish inconsistency. Extensive experiments on public datasets verify that our method achieves state-of-the-art performance among methods that do not adopt extra data.
• Abstract（参考訳）: セマンティックシーンコンプリート(SSC)は3Dシーンのセマンティックスと占有性を共同で推論することを目的としている。 深度を3次元符号化するTrncated Signed Distance Function (TSDF) は、SSCの一般的な入力である。 さらに、RGB-TSDF融合は、これらの2つのモードがそれぞれ色情報と幾何学情報を提供するので、有望と思われる。 それにもかかわらず、RGB-TSDF融合は非自明なものと考えられており、一般的に使用されるナイーブ付加は矛盾する結果をもたらす。 この不整合性は3次元空間に投影するRGB機能の空間性に起因するが、TSDFの機能は密集しており、合計すると不均衡な特徴マップとなる。 このRGB-TSDF分布差に対処するため、3D RGB機能補完モジュールを内蔵した2段ネットワークを提案する。 さらに,不整合を罰する効果的なクラスワイドエントロピー損失関数を提案する。 公開データセットに対する大規模な実験により、余分なデータを採用しない手法の間で、我々の手法が最先端のパフォーマンスを達成することを確認した。

関連論文リスト

• Neural Signed Distance Function Inference through Splatting 3D Gaussians Pulled on Zero-Level Set [49.780302894956776]
  多視点表面再構成における符号付き距離関数(SDF)の推測は不可欠である。 本稿では3DGSとニューラルSDFの学習をシームレスに融合する手法を提案する。 我々の数値的および視覚的比較は、広く使用されているベンチマークの最先端結果よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-18T05:48:06Z)
• Channel and Spatial Relation-Propagation Network for RGB-Thermal Semantic Segmentation [10.344060599932185]
  RGB-Thermal (RGB-T)セマンティックセマンティックセグメンテーションは、低照度条件を扱う上で大きな可能性を示している。 RGB-Tセマンティックセグメンテーションの鍵は、RGBと熱画像の相補的性質を効果的に活用することである。
  論文  参考訳（メタデータ） (2023-08-24T03:43:47Z)
• Spherical Space Feature Decomposition for Guided Depth Map Super-Resolution [123.04455334124188]
  誘導深度マップ超解像(GDSR)は、低解像度(LR)深度マップに高解像度(HR)RGB画像を含む追加情報を加えることを目的としている。 本稿では,この問題を解決するために,Spherical Space Feature Decomposition Network (SSDNet)を提案する。 提案手法は,4つのテストデータセットの最先端結果と実世界のシーンへの一般化を実現する。
  論文  参考訳（メタデータ） (2023-03-15T21:22:21Z)
• Robust RGB-D Fusion for Saliency Detection [13.705088021517568]
  本稿では, 層状および三重項空間, 注意機構の利点を生かしたRGB-D融合法を提案する。 5つのベンチマーク・データセットを用いた実験により,提案手法は最先端の核融合法よりも一貫した性能を示した。
  論文  参考訳（メタデータ） (2022-08-02T21:23:00Z)
• Pyramidal Attention for Saliency Detection [30.554118525502115]
  本稿では,RGB画像のみを活用し,RGBから深度を推定し,中間深度特性を利用する。 ピラミッド型アテンション構造を用いて,マルチレベル畳み込み変換器の特徴を抽出し,初期表現の処理を行う。 我々は8つのRGBおよびRGB-Dデータセット上で21と40の最先端SOD法に対する性能を著しく改善したことを報告した。
  論文  参考訳（メタデータ） (2022-04-14T06:57:46Z)
• RGB-D Salient Object Detection via 3D Convolutional Neural Networks [19.20231385522917]
  3D畳み込みニューラルネットワークによるRGB-D SODへの対処を試みます。 提案したRD3Dは、エンコーダ段階での事前融合とデコーダ段階での深部融合を目的としている。 RD3Dは4つの重要な評価指標から,14の最先端RGB-D SODアプローチに対して良好に機能することを示す。
  論文  参考訳（メタデータ） (2021-01-25T17:03:02Z)
• MobileSal: Extremely Efficient RGB-D Salient Object Detection [62.04876251927581]
  本稿では,効率的なRGB-Dサルエント物体検出(SOD)に焦点を当てた新しいネットワーク,メソッド名を提案する。 RGB-D SODのためのモバイルネットワークの特徴表現能力を強化するために,暗黙的深度復元(IDR)手法を提案する。 IDRとCPRを組み込むことで、7つの挑戦的なRGB-D SODデータセット上のsArtメソッドに対してメソッド名が好ましい。
  論文  参考訳（メタデータ） (2020-12-24T04:36:42Z)
• Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient Object Detection [73.31632581915201]
  深部特徴抽出に先立って,RGBとD(深部)を融合する新たなデータレベル組換え手法を提案する。 新たに設計された3重ストリームネットワークをこれらの新しい定式化データ上に適用し,RGBとDのチャネルワイドな相補的融合状態を実現する。
  論文  参考訳（メタデータ） (2020-08-07T10:13:05Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Cross-Modal Weighting Network for RGB-D Salient Object Detection [76.0965123893641]
  我々は,RGB-D SODの深度チャネルとRGB-D SODの包括的相互作用を促進するために,新しいクロスモーダルウェイトリング(CMW)戦略を提案する。 具体的には、CMW-L、CMW-M、CMW-Hという3つのRGB-depth相互作用モジュールが、それぞれ低レベル、中級、高レベルのクロスモーダル情報融合を扱うように開発されている。 CMWNetは、7つの人気のあるベンチマークで15の最先端のRGB-D SODメソッドを上回っている。
  論文  参考訳（メタデータ） (2020-07-09T16:01:44Z)
• 3D Gated Recurrent Fusion for Semantic Scene Completion [32.86736222106503]
  本稿では,セマンティック・シーン・コンプリート(SSC)タスクにおけるデータ融合の問題に取り組む。 本稿では,3次元ゲート型リカレント核融合ネットワーク(GRFNet)を提案する。 2つのベンチマークデータセットに対する実験は、SSCにおけるデータ融合のための提案されたGRFNetの優れた性能と有効性を示す。
  論文  参考訳（メタデータ） (2020-02-17T21:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。