論文の概要: Lift, Splat, Map: Lifting Foundation Masks for Label-Free Semantic Scene Completion

• arxiv url: http://arxiv.org/abs/2407.03425v1
• Date: Wed, 3 Jul 2024 18:08:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 20:10:41.359696
• Title: Lift, Splat, Map: Lifting Foundation Masks for Label-Free Semantic Scene Completion
• Title（参考訳）: Lift, Splat, Map: Lfting Foundation Masks for Label-free Semantic Scene Completion
• Authors: Arthur Zhang, Rainier Heijne, Joydeep Biswas,
• Abstract要約: 本研究では,鳥の視線における連続的,オープンなセマンティクスと高度認識の表現を予測するためのLSMapを提案する。 我々のモデルは1枚のRGBD画像しか必要とせず、人間のラベルを必要とせず、リアルタイムに動作する。 事前学習された表現は、教師なしのセマンティックシーンの完了時に、既存の視覚基盤モデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.781799395896687
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Autonomous mobile robots deployed in urban environments must be context-aware, i.e., able to distinguish between different semantic entities, and robust to occlusions. Current approaches like semantic scene completion (SSC) require pre-enumerating the set of classes and costly human annotations, while representation learning methods relax these assumptions but are not robust to occlusions and learn representations tailored towards auxiliary tasks. To address these limitations, we propose LSMap, a method that lifts masks from visual foundation models to predict a continuous, open-set semantic and elevation-aware representation in bird's eye view (BEV) for the entire scene, including regions underneath dynamic entities and in occluded areas. Our model only requires a single RGBD image, does not require human labels, and operates in real time. We quantitatively demonstrate our approach outperforms existing models trained from scratch on semantic and elevation scene completion tasks with finetuning. Furthermore, we show that our pre-trained representation outperforms existing visual foundation models at unsupervised semantic scene completion. We evaluate our approach using CODa, a large-scale, real-world urban robot dataset. Supplementary visualizations, code, data, and pre-trained models, will be publicly available soon.
• Abstract（参考訳）: 都市環境に展開される自律移動ロボットは、コンテキストアウェア、すなわち、異なるセマンティックエンティティを区別でき、密閉に対して堅牢でなければならない。 セマンティックシーン補完(SSC)のような現在のアプローチでは、クラスとコストのかかる人間のアノテーションのセットを事前に列挙する必要がある。 これらの制約に対処するため、LSMapは、視覚基盤モデルからマスクを持ち上げて、動的実体の下の領域や閉ざされた領域を含む、鳥の目視(BEV)における連続的でオープンなセマンティクスと高度認識表現を予測する手法を提案する。 我々のモデルは1枚のRGBD画像しか必要とせず、人間のラベルを必要とせず、リアルタイムに動作する。 提案手法は,スクラッチから訓練した既存モデルに対して,微調整によるセマンティックおよび標高シーン完了タスクにおいて,定量的に優れた性能を示す。 さらに、事前学習された表現は、教師なしのセマンティックシーンの完了時に、既存の視覚基盤モデルよりも優れていることを示す。 大規模で現実的な都市ロボットデータセットであるCODaを用いて,我々のアプローチを評価する。 補助的なビジュアライゼーション、コード、データ、事前訓練されたモデルなどが近く公開される。

関連論文リスト

• Locality Alignment Improves Vision-Language Models [55.275235524659905]
  近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。 局所性アライメント(Locality alignment)と呼ばれる,視覚障害者のための新しい学習段階を提案する。 局所性に整合したバックボーンは、様々なベンチマークでパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-10-14T21:01:01Z)
• Object-level Scene Deocclusion [92.39886029550286]
  オブジェクトレベルのシーン・デクルージョンのためのPArallel可視・コミュールト拡散フレームワークPACOを提案する。 PACOをトレーニングするために、500kサンプルの大規模なデータセットを作成し、自己教師付き学習を可能にします。 COCOAと様々な現実世界のシーンの実験では、PACOがシーンの排除に優れた能力を示し、芸術の状態をはるかに上回っている。
  論文  参考訳（メタデータ） (2024-06-11T20:34:10Z)
• Annotation Free Semantic Segmentation with Vision Foundation Models [11.026377387506216]
  既存の基盤モデルを用いて,任意のセマンティックセグメンテーションデータセットに対してフリーアノテーションを生成する。 CLIPを使ってオブジェクトとSAMを検出し、高品質なオブジェクトマスクを生成します。 我々のアプローチは、最小限のトレーニングで事前訓練された視覚エンコーダに言語ベースのセマンティクスをもたらすことができる。
  論文  参考訳（メタデータ） (2024-03-14T11:57:58Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Learning with a Mole: Transferable latent spatial representations for navigation without reconstruction [12.845774297648736]
  ほとんどのエンドツーエンドの学習アプローチでは、表現は潜伏しており、通常は明確に定義された解釈を持っていない。 本研究では,目的とする下流タスクとは無関係にシーンの動作可能な表現を学習することを提案する。 学習された表現は、進路から分岐する複数の短いエピソードをナビゲートするように訓練された盲人補助エージェントによって最適化される。
  論文  参考訳（メタデータ） (2023-06-06T16:51:43Z)
• Visual Affordance Prediction for Guiding Robot Exploration [56.17795036091848]
  我々は,ロボット探索を導くための視覚能力の学習手法を開発した。 VQ-VAEの潜伏埋め込み空間における条件分布の学習にはTransformerベースのモデルを用いる。 本稿では,ロボット操作における視覚的目標条件付きポリシー学習において,目標サンプリング分布として機能することで探索を導くために,トレーニングされた余裕モデルをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2023-05-28T17:53:09Z)
• Unsupervised Continual Semantic Adaptation through Neural Rendering [32.099350613956716]
  セマンティックセグメンテーションの課題に対する連続的マルチシーン適応について検討する。 本稿では,セグメンテーションモデルの予測を融合させることで,シーン毎にセマンティック・NeRFネットワークを訓練する。 我々は,Voxelベースのベースラインと最先端の教師なしドメイン適応手法の両方より優れているScanNetに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-11-25T09:31:41Z)
• Exploring Target Representations for Masked Autoencoders [78.57196600585462]
  目的表現の注意深い選択は、よい表現を学ぶために不要であることを示す。 本研究では,多段階のマスク蒸留パイプラインを提案し,無作為なモデルを教師として利用する。 自己指導型自己指導法を非自明なマージンで上回り, 自己指導型教員(dBOT)によるマスク付き知識蒸留を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-09-08T16:55:19Z)
• Towards Single Stage Weakly Supervised Semantic Segmentation [2.28438857884398]
  弱教師付きセマンティックセグメンテーションへのシングルステージアプローチを提案する。 ポイントアノテーションを使用して、オンザフライで信頼性の高い擬似マスクを生成します。 我々は、最近の実世界のデータセットにおいて、他のSOTA WSSS手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-06-18T18:34:50Z)
• Hidden Footprints: Learning Contextual Walkability from 3D Human Trails [70.01257397390361]
  現在のデータセットは、人々がどこにいるか、どこにいるかを教えてくれません。 まず、画像間で人の観察を伝播させ、3D情報を利用して、私たちが「隠れ足跡」と呼ぶものを作成することで、有効なラベル付き歩行可能領域の集合を拡大する。 このようなスパースラベルのために設計されたトレーニング戦略を考案し、クラスバランスの分類損失と文脈逆転損失を組み合わせた。
  論文  参考訳（メタデータ） (2020-08-19T23:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。