論文の概要: In-Place Scene Labelling and Understanding with Implicit Scene Representation

• arxiv url: http://arxiv.org/abs/2103.15875v1
• Date: Mon, 29 Mar 2021 18:30:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 15:03:24.170014
• Title: In-Place Scene Labelling and Understanding with Implicit Scene Representation
• Title（参考訳）: In-Place Scene Labelling and Understanding with Implicit Scene Representation
• Authors: Shuaifeng Zhi, Tristan Laidlow, Stefan Leutenegger, Andrew J. Davison
• Abstract要約: ニューラルラジアンスフィールド(NeRF)を拡張して、外観とジオメトリでセマンティクスを共同エンコードします。 ルームスケールのシーンでは、ラベルがスパースまたは非常に騒々しい場合、このアプローチの利点を示します。
• 参考スコア（独自算出の注目度）: 39.73806072862176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic labelling is highly correlated with geometry and radiance reconstruction, as scene entities with similar shape and appearance are more likely to come from similar classes. Recent implicit neural reconstruction techniques are appealing as they do not require prior training data, but the same fully self-supervised approach is not possible for semantics because labels are human-defined properties. We extend neural radiance fields (NeRF) to jointly encode semantics with appearance and geometry, so that complete and accurate 2D semantic labels can be achieved using a small amount of in-place annotations specific to the scene. The intrinsic multi-view consistency and smoothness of NeRF benefit semantics by enabling sparse labels to efficiently propagate. We show the benefit of this approach when labels are either sparse or very noisy in room-scale scenes. We demonstrate its advantageous properties in various interesting applications such as an efficient scene labelling tool, novel semantic view synthesis, label denoising, super-resolution, label interpolation and multi-view semantic label fusion in visual semantic mapping systems.
• Abstract（参考訳）: セマンティックなラベリングは幾何学や放射率再構成と強く相関しており、類似の形状や外観を持つシーンの実体は類似のクラスから来る可能性が高い。 最近の暗黙的な神経再構築技術は、事前のトレーニングデータを必要としないため、魅力的であるが、ラベルが人間定義プロパティであるため、意味論では、同じ完全に自己管理的なアプローチは不可能である。 ニューラル・ラジアンス・フィールド(nerf)を拡張してセマンティクスと外観と幾何学を共同でエンコードすることで,シーン特有の少量のインプレースアノテーションを用いて,完全かつ正確な2dセマンティクスラベルを実現する。 スパースラベルを効率よく伝播させることにより、NeRF利益セマンティクスの本質的な多視点一貫性と滑らか性を実現する。 このアプローチの利点は、ルームスケールのシーンでラベルがばらばらか、あるいは非常に騒がしい場合に示します。 視覚意味マッピングシステムにおいて,効率的なシーンラベリングツール,新しい意味ビュー合成,ラベルデノイジング,超解像,ラベル補間,マルチビュー意味ラベラル融合など,様々な興味深いアプリケーションでその利点を示す。

関連論文リスト

• Label-free Neural Semantic Image Synthesis [12.194020204848492]
  本稿では,事前学習した基礎モデルから抽出したニューラルネットワークレイアウトを条件付けとして,ニューラルセマンティック画像合成の概念を導入する。 ニューラルセマンティック画像合成により合成された画像が、セマンティッククラスの類似あるいは優れた画素レベルのアライメントを実現することを実験的に示す。 ニューラルレイアウト条件付けによって生成された画像は、様々な知覚タスクを訓練するための実データを効果的に増強できることを示す。
  論文  参考訳（メタデータ） (2024-07-01T20:30:23Z)
• Scribble Hides Class: Promoting Scribble-Based Weakly-Supervised Semantic Segmentation with Its Class Label [16.745019028033518]
  画像レベルのクラスから情報を得たスクリブルアノテーションと擬似ラベルと、監督のためのグローバルセマンティクスの両方を利用するクラス駆動型スクリブルプロモーションネットワークを提案する。 スクリブルアノテーションの異なる性質を持つScribbleSupデータセットの実験は、従来の手法よりも優れており、本手法の優位性と堅牢性を示している。
  論文  参考訳（メタデータ） (2024-02-27T14:51:56Z)
• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。 畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。 本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T14:17:19Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• iLabel: Interactive Neural Scene Labelling [20.63756683450811]
  3次元神経場を用いた幾何学、色、意味の合同表現は、超スパース相互作用による正確な密なラベリングを可能にする。 当社のiLabelシステムは、トレーニングデータを必要としないが、標準的な方法よりも正確にシーンをラベル付けすることができる。 これは'オープンセット'のやり方で動作し、ユーザがオンザフライで定義したセマンティッククラスで機能する。
  論文  参考訳（メタデータ） (2021-11-29T15:49:20Z)
• PCAMs: Weakly Supervised Semantic Segmentation Using Point Supervision [12.284208932393073]
  本稿では,ある点レベルのアノテーションが与えられた画像から意味的セグメンテーションを生成する新しい手法を提案する。 提案するCNNは,通常,地上の真理ラベルの代わりに擬似ラベルを用いて完全に教師される。 提案手法は,PASCAL VOC 2012 データセットを引用した PASCAL VOC 2012 のセマンティックセマンティックセマンティフィケーションのための技術結果の状態を達成し,より強いバウンディングボックスやリスグル管理のための技術手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-07-10T21:25:27Z)
• Hierarchical Image Classification using Entailment Cone Embeddings [68.82490011036263]
  まずラベル階層の知識を任意のCNNベースの分類器に注入する。 画像からの視覚的セマンティクスと組み合わせた外部セマンティクス情報の利用が全体的な性能を高めることを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-02T10:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。