論文の概要: FM-Fusion: Instance-aware Semantic Mapping Boosted by Vision-Language Foundation Models

• arxiv url: http://arxiv.org/abs/2402.04555v2
• Date: Thu, 31 Oct 2024 08:25:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:56:46.032218
• Title: FM-Fusion: Instance-aware Semantic Mapping Boosted by Vision-Language Foundation Models
• Title（参考訳）: FM-Fusion:Vision-Language Foundation Modelsによって強化されたインスタンス対応セマンティックマッピング
• Authors: Chuhao Liu, Ke Wang, Jieqi Shi, Zhijian Qiao, Shaojie Shen,
• Abstract要約: 視覚言語基礎モデルの開発は、データ分散における強力なゼロショット転送可能性を示している。 本稿では,開集合ラベル測定から近接集合意味クラスを予測するための確率的ラベル融合法を提案する。 我々は,すべてのモジュールを統合意味マッピングシステムに統合し,RGB-D入力のシーケンスを読み取って,インスタンス認識意味マップを漸進的に再構築する。
• 参考スコア（独自算出の注目度）: 24.77953131753715
• License:
• Abstract: Semantic mapping based on the supervised object detectors is sensitive to image distribution. In real-world environments, the object detection and segmentation performance can lead to a major drop, preventing the use of semantic mapping in a wider domain. On the other hand, the development of vision-language foundation models demonstrates a strong zero-shot transferability across data distribution. It provides an opportunity to construct generalizable instance-aware semantic maps. Hence, this work explores how to boost instance-aware semantic mapping from object detection generated from foundation models. We propose a probabilistic label fusion method to predict close-set semantic classes from open-set label measurements. An instance refinement module merges the over-segmented instances caused by inconsistent segmentation. We integrate all the modules into a unified semantic mapping system. Reading a sequence of RGB-D input, our work incrementally reconstructs an instance-aware semantic map. We evaluate the zero-shot performance of our method in ScanNet and SceneNN datasets. Our method achieves 40.3 mean average precision (mAP) on the ScanNet semantic instance segmentation task. It outperforms the traditional semantic mapping method significantly.
• Abstract（参考訳）: 教師対象検出器に基づく意味マッピングは画像分布に敏感である。 現実世界の環境では、オブジェクトの検出とセグメンテーションのパフォーマンスが大きな低下を招き、より広い領域でのセマンティックマッピングの使用を妨げます。 一方、視覚言語基盤モデルの開発は、データ分散における強力なゼロショット転送可能性を示している。 汎用的なインスタンス対応セマンティックマップを構築する機会を提供する。 そこで本研究では,基礎モデルから生成されたオブジェクト検出からインスタンス認識セマンティックマッピングを向上する方法について検討する。 本稿では,開集合ラベル測定から近接集合意味クラスを予測するための確率的ラベル融合法を提案する。 インスタンスリファインメントモジュールは、一貫性のないセグメンテーションによって引き起こされる過剰なセグメンテーションインスタンスをマージする。 すべてのモジュールを統合されたセマンティックマッピングシステムに統合します。 RGB-D入力のシーケンスを読み取ると、インスタンス認識のセマンティックマップを段階的に再構築する。 ScanNetおよびSceneNNデータセットにおいて,本手法のゼロショット性能を評価する。 本手法は,ScanNetのセマンティック・インスタンス・セグメンテーション・タスクにおいて,平均平均精度(mAP)を40.3以上達成する。 従来の意味マッピング法よりも優れています。

関連論文リスト

• Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
  自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。 融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。 我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
  論文  参考訳（メタデータ） (2023-08-19T09:12:13Z)
• MIANet: Aggregating Unbiased Instance and General Information for Few-Shot Semantic Segmentation [6.053853367809978]
  既存の少数ショットセグメンテーション手法はメタラーニング戦略に基づいて,サポートセットからインスタンス知識を抽出する。 本稿では,多情報集約ネットワーク(MIANet)を提案する。 PASCAL-5iとCOCO-20iの実験により、MIANetは優れた性能を示し、新しい最先端技術を確立した。
  論文  参考訳（メタデータ） (2023-05-23T09:36:27Z)
• Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification [68.06496970320595]
  クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。 本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-18T07:47:01Z)
• Sparse Instance Activation for Real-Time Instance Segmentation [72.23597664935684]
  本稿では,リアルタイムインスタンスセグメンテーションのための概念的・効率的・完全畳み込み型フレームワークを提案する。 SparseInstは非常に高速な推論速度を持ち、COCOベンチマークで40 FPSと37.9 APを達成した。
  論文  参考訳（メタデータ） (2022-03-24T03:15:39Z)
• TransFGU: A Top-down Approach to Fine-Grained Unsupervised Semantic Segmentation [44.75300205362518]
  教師なしセマンティックセグメンテーションは、手動のアノテーションを使わずに、低レベルの視覚的特徴の高レベルセマンティック表現を得ることを目的としている。 本稿では, 非常に複雑なシナリオにおける細粒度セグメンテーションのための, トップダウンの教師なしセグメンテーションフレームワークを提案する。 我々の結果は、トップダウンの教師なしセグメンテーションが、オブジェクト中心とシーン中心の両方のデータセットに対して堅牢であることを示している。
  論文  参考訳（メタデータ） (2021-12-02T18:59:03Z)
• Remote Sensing Images Semantic Segmentation with General Remote Sensing Vision Model via a Self-Supervised Contrastive Learning Method [13.479068312825781]
  リモートセマンティックセグメンテーションのためのGlobal style and Local matching Contrastive Learning Network (GLCNet)を提案する。 具体的には、画像レベルの表現をより良く学習するために、グローバルスタイルのコントラストモジュールが使用される。 コントラストモジュールにマッチするローカル特徴は、セマンティックセグメンテーションに有用なローカル領域の表現を学習するために設計されている。
  論文  参考訳（メタデータ） (2021-06-20T03:03:40Z)
• SChME at SemEval-2020 Task 1: A Model Ensemble for Detecting Lexical Semantic Change [58.87961226278285]
  本稿では,SemEval-2020 Task 1における語彙意味変化の教師なし検出法であるSChMEについて述べる。 SChMEは、分布モデル(単語埋め込み)とワード周波数モデルの信号を組み合わせたモデルアンサンブルを使用し、各モデルは、その特徴に応じて単語が苦しむ確率を示す投票を行う。
  論文  参考訳（メタデータ） (2020-12-02T23:56:34Z)
• Synthesizing the Unseen for Zero-shot Object Detection [72.38031440014463]
  そこで本研究では,視覚領域における視覚的特徴と視覚的対象の両方を学習するために,視覚的特徴を合成することを提案する。 クラスセマンティックスを用いた新しい生成モデルを用いて特徴を生成するだけでなく,特徴を識別的に分離する。
  論文  参考訳（メタデータ） (2020-10-19T12:36:11Z)
• Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation [128.03739769844736]
  2つのニューラルコアテンションを分類器に組み込んで、画像間のセマンティックな類似点と相違点をキャプチャする。 オブジェクトパターン学習の強化に加えて、コアテンションは他の関連する画像からのコンテキストを活用して、ローカライズマップの推論を改善することができる。 提案アルゴリズムは,これらすべての設定に対して新たな最先端性を設定し,その有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2020-07-03T21:53:46Z)
• Extending Maps with Semantic and Contextual Object Information for Robot Navigation: a Learning-Based Framework using Visual and Depth Cues [12.984393386954219]
  本稿では,RGB-D画像からのセマンティック情報を用いて,シーンのメートル法表現を付加する問題に対処する。 オブジェクトレベルの情報を持つ環境の地図表現を拡張化するための完全なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T15:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。