論文の概要: Labeling Indoor Scenes with Fusion of Out-of-the-Box Perception Models

• arxiv url: http://arxiv.org/abs/2311.10883v1
• Date: Fri, 17 Nov 2023 21:58:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 13:45:53.637509
• Title: Labeling Indoor Scenes with Fusion of Out-of-the-Box Perception Models
• Title（参考訳）: 外部知覚モデルの融合による屋内シーンのラベル付け
• Authors: Yimeng Li, Navid Rajabi, Sulabh Shrestha, Md Alimoor Reza, and Jana Kosecka
• Abstract要約: ボトムアップセグメンテーション(SAM)、オブジェクト検出(Detic)、セマンティックセグメンテーション(MaskFormer)の最先端モデルを活用することを提案する。 室内環境におけるセマンティックセグメンテーションとオブジェクトインスタンス検出のための擬似ラベルを得るための,コスト効率の高いラベリング手法を開発することを目的とする。 提案手法の有効性を,Active VisionデータセットとADE20Kデータセットに示す。
• 参考スコア（独自算出の注目度）: 4.157013247909771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The image annotation stage is a critical and often the most time-consuming part required for training and evaluating object detection and semantic segmentation models. Deployment of the existing models in novel environments often requires detecting novel semantic classes not present in the training data. Furthermore, indoor scenes contain significant viewpoint variations, which need to be handled properly by trained perception models. We propose to leverage the recent advancements in state-of-the-art models for bottom-up segmentation (SAM), object detection (Detic), and semantic segmentation (MaskFormer), all trained on large-scale datasets. We aim to develop a cost-effective labeling approach to obtain pseudo-labels for semantic segmentation and object instance detection in indoor environments, with the ultimate goal of facilitating the training of lightweight models for various downstream tasks. We also propose a multi-view labeling fusion stage, which considers the setting where multiple views of the scenes are available and can be used to identify and rectify single-view inconsistencies. We demonstrate the effectiveness of the proposed approach on the Active Vision dataset and the ADE20K dataset. We evaluate the quality of our labeling process by comparing it with human annotations. Also, we demonstrate the effectiveness of the obtained labels in downstream tasks such as object goal navigation and part discovery. In the context of object goal navigation, we depict enhanced performance using this fusion approach compared to a zero-shot baseline that utilizes large monolithic vision-language pre-trained models.
• Abstract（参考訳）: 画像アノテーションの段階は、オブジェクト検出とセマンティックセグメンテーションモデルのトレーニングと評価に必要な最も時間を要する部分である。 既存のモデルを新しい環境にデプロイするには、トレーニングデータに存在しない新しいセマンティクスクラスを検出する必要がある。 さらに屋内シーンには、トレーニングされた知覚モデルで適切に扱う必要がある重要な視点変化が含まれている。 本稿では,ボトムアップセグメンテーション(SAM)やオブジェクト検出(Detic),セマンティックセグメンテーション(MaskFormer)といった,大規模データセットで訓練された最先端モデルの最近の進歩を活用することを提案する。 本研究の目的は,屋内環境におけるセマンティックセグメンテーションとオブジェクトインスタンス検出のための擬似ラベルを得るためのコスト効率の高いラベリング手法を開発することである。 また、シーンの複数のビューが利用できる設定を考慮し、単一ビューの不整合の特定と修正に使用できるマルチビューラベリング融合ステージを提案する。 提案手法の有効性を,Active VisionデータセットとADE20Kデータセットに示す。 人間のアノテーションと比較することにより,ラベル付けプロセスの品質を評価する。 また,対象目標ナビゲーションや部分探索などの下流タスクにおいて,得られたラベルの有効性を示す。 オブジェクトゴールナビゲーションの文脈では、この融合アプローチによる性能向上を、大規模なモノリシック視覚言語事前学習モデルを用いたゼロショットベースラインと比較する。

関連論文リスト

• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Unsupervised Continual Semantic Adaptation through Neural Rendering [32.099350613956716]
  セマンティックセグメンテーションの課題に対する連続的マルチシーン適応について検討する。 本稿では,セグメンテーションモデルの予測を融合させることで,シーン毎にセマンティック・NeRFネットワークを訓練する。 我々は,Voxelベースのベースラインと最先端の教師なしドメイン適応手法の両方より優れているScanNetに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-11-25T09:31:41Z)
• Self-supervised Pre-training for Semantic Segmentation in an Indoor Scene [8.357801312689622]
  本稿ではセグメンテーションモデルの自己教師型事前学習手法であるRegConsistを提案する。 我々は,対象環境におけるRGBビューからのセマンティックセグメンテーションを予測するために,コントラスト学習の変種を用いてDCNNモデルを訓練する。 提案手法は、ImageNetで事前訓練されたモデルよりも優れており、全く同じタスクでトレーニングされたモデルと異なるデータセットでトレーニングされたモデルを使用する場合の競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-04T20:10:14Z)
• Exploiting Unlabeled Data with Vision and Language Models for Object Detection [64.94365501586118]
  堅牢で汎用的なオブジェクト検出フレームワークを構築するには、より大きなラベルスペースとより大きなトレーニングデータセットへのスケーリングが必要である。 本稿では,近年の視覚と言語モデルで利用可能なリッチなセマンティクスを利用して,未ラベル画像中のオブジェクトのローカライズと分類を行う手法を提案する。 生成した擬似ラベルの価値を,オープン語彙検出と半教師付きオブジェクト検出の2つのタスクで示す。
  論文  参考訳（メタデータ） (2022-07-18T21:47:15Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。