論文の概要: Exploiting Object-based and Segmentation-based Semantic Features for Deep Learning-based Indoor Scene Classification
- arxiv url: http://arxiv.org/abs/2404.07739v1
- Date: Thu, 11 Apr 2024 13:37:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 13:50:01.943080
- Title: Exploiting Object-based and Segmentation-based Semantic Features for Deep Learning-based Indoor Scene Classification
- Title（参考訳）: 深層学習に基づく屋内シーン分類のためのオブジェクトベースとセグメンテーションベースのセマンティック特徴の爆発的抽出
- Authors: Ricardo Pereira, Luís Garrote, Tiago Barros, Ana Lopes, Urbano J. Nunes,
- Abstract要約: 本稿では,オブジェクト検出から得られたセマンティック情報とセマンティックセグメンテーション技術の両方を用いる。
セグメンテーションマスクを用いて,Hu-Moments Features (SHMFs)によって指定されたHu-Momentsベースのセグメンテーションカテゴリの形状特徴を提供する手法を提案する。
GOS$2$F$2$Appによって指定された3つのメインブランチネットワークも提案されている。
- 参考スコア（独自算出の注目度）: 0.5572976467442564
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Indoor scenes are usually characterized by scattered objects and their relationships, which turns the indoor scene classification task into a challenging computer vision task. Despite the significant performance boost in classification tasks achieved in recent years, provided by the use of deep-learning-based methods, limitations such as inter-category ambiguity and intra-category variation have been holding back their performance. To overcome such issues, gathering semantic information has been shown to be a promising source of information towards a more complete and discriminative feature representation of indoor scenes. Therefore, the work described in this paper uses both semantic information, obtained from object detection, and semantic segmentation techniques. While object detection techniques provide the 2D location of objects allowing to obtain spatial distributions between objects, semantic segmentation techniques provide pixel-level information that allows to obtain, at a pixel-level, a spatial distribution and shape-related features of the segmentation categories. Hence, a novel approach that uses a semantic segmentation mask to provide Hu-moments-based segmentation categories' shape characterization, designated by Segmentation-based Hu-Moments Features (SHMFs), is proposed. Moreover, a three-main-branch network, designated by GOS$^2$F$^2$App, that exploits deep-learning-based global features, object-based features, and semantic segmentation-based features is also proposed. GOS$^2$F$^2$App was evaluated in two indoor scene benchmark datasets: SUN RGB-D and NYU Depth V2, where, to the best of our knowledge, state-of-the-art results were achieved on both datasets, which present evidences of the effectiveness of the proposed approach.
- Abstract（参考訳）: 屋内シーンは、通常、散在する物体とその関係によって特徴づけられ、屋内シーンの分類タスクは、難しいコンピュータビジョンタスクに変わる。
近年,深層学習に基づく手法によって達成された分類タスクの性能向上にもかかわらず,カテゴリー間のあいまいさやカテゴリ内変動といった制限は,その性能を抑えている。
このような課題を克服するため、屋内シーンのより完全かつ差別的な特徴表現に向けて、セマンティック情報を集めることが有望な情報源であることが示されている。
そこで本論文では,オブジェクト検出から得られた意味情報と意味的セグメンテーション技術の両方を用いる。
オブジェクト検出技術はオブジェクト間の空間分布を得ることのできるオブジェクトの2次元位置を提供するが、セグメンテーション技術は、ピクセルレベルでは、セグメンテーションカテゴリの空間分布と形状に関連した特徴を得ることができるピクセルレベルの情報を提供する。
そこで,Segmentation-based Hu-Moments Features (SHMFs) によって指定されたセグメンテーションカテゴリの形状特徴を意味的セグメンテーションマスクを用いて提供する手法を提案する。
さらに,GOS$^2$F$^2$Appが指定する3つのメインブランチネットワークも提案されている。
GOS$^2$F$^2$Appは、SUN RGB-DとNYU Depth V2の2つの屋内シーンベンチマークデータセットで評価された。
関連論文リスト
- N2F2: Hierarchical Scene Understanding with Nested Neural Feature Fields [112.02885337510716]
Nested Neural Feature Fields (N2F2)は、階層的な監視を用いて単一機能フィールドを学習する新しいアプローチである。
画像空間の任意のスケールで意味的に意味のある画素群を提供するために、2次元クラス非依存セグメンテーションモデルを利用する。
オープンな3次元セグメンテーションやローカライゼーションといったタスクにおいて,最先端のフィールド蒸留法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-03-16T18:50:44Z) - Inter-object Discriminative Graph Modeling for Indoor Scene Recognition [5.712940060321454]
本稿では,シーン特徴表現を強化するために,識別対象知識を活用することを提案する。
画素レベルのシーン特徴をノードとして定義する識別グラフネットワーク(DGN)を構築する。
提案した IODP と DGN を用いて, 広く使用されているシーンデータセットの最先端結果を得る。
論文 参考訳（メタデータ） (2023-11-10T08:07:16Z) - Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。
画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。
オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文 参考訳（メタデータ） (2023-07-07T04:03:48Z) - A Deep Learning-based Global and Segmentation-based Semantic Feature
Fusion Approach for Indoor Scene Classification [0.6578923037198714]
本研究ではセグメンテーションマスクを用いてシーン横断のセグメンテーションカテゴリの2次元空間配置を求める手法を提案する。
2分岐ネットワークであるGS2F2Appは、RGB画像から抽出したCNNベースのグローバル機能と、提案したSSFから抽出したセグメンテーションベースの機能を利用する。
論文 参考訳（メタデータ） (2023-02-13T15:12:11Z) - Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。
提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
論文 参考訳（メタデータ） (2022-12-28T03:45:56Z) - SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。
我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-05-26T17:00:23Z) - Deep ViT Features as Dense Visual Descriptors [12.83702462166513]
我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を濃密な視覚ディスクリプタとして活用する。
これらの記述子は、コセグメンテーション、部分のコセグメンテーション、および対応を含む様々な応用を促進する。
論文 参考訳（メタデータ） (2021-12-10T20:15:03Z) - Boundary Knowledge Translation based Reference Semantic Segmentation [62.60078935335371]
視覚境界知識翻訳を行うための参照参照セグメンテーションネットワーク(Ref-Net)を導入する。
人間の認識機構にインスパイアされたRTMTMは、参照オブジェクトの特徴に基づいて、同じカテゴリオブジェクトをセグメント化するだけに考案されている。
Ref-Netは、数十の細かい注釈付きサンプルをガイダンスとして、完全に教師された6つのデータセットのメソッドと同等の結果を得る。
論文 参考訳（メタデータ） (2021-08-01T07:40:09Z) - Unsupervised segmentation via semantic-apparent feature fusion [21.75371777263847]
本研究では,意味親和性特徴融合(SAFF)に基づく教師なし前景セグメンテーション手法を提案する。
前景オブジェクトのキー領域はセマンティック機能によって正確に応答できる。
意味的特徴と明らかな特徴を融合させ、画像内適応的特徴量学習と画像間共通特徴学習のモジュールをカスケードすることにより、ベースラインをはるかに超える性能を達成する。
論文 参考訳（メタデータ） (2020-05-21T08:28:49Z) - SceneEncoder: Scene-Aware Semantic Segmentation of Point Clouds with A
Learnable Scene Descriptor [51.298760338410624]
本研究では,グローバル情報の効果を高めるために,シーン認識型ガイダンスを付加するSceneEncoderモジュールを提案する。
モジュールはシーン記述子を予測し、シーンに存在するオブジェクトのカテゴリを表現することを学習する。
また,同じラベルを持つ隣接点に対する特徴の識別を伝搬する領域類似度損失を設計する。
論文 参考訳（メタデータ） (2020-01-24T16:53:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。