論文の概要: Improving Semantic Image Segmentation via Label Fusion in Semantically Textured Meshes

• arxiv url: http://arxiv.org/abs/2111.11103v1
• Date: Mon, 22 Nov 2021 10:47:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 16:14:16.068465
• Title: Improving Semantic Image Segmentation via Label Fusion in Semantically Textured Meshes
• Title（参考訳）: セマンティックテクスチャメッシュにおけるラベル融合によるセマンティックイメージセグメンテーションの改善
• Authors: Florian Fervers, Timo Breuer, Gregor Stachowiak, Sebastian Bullinger, Christoph Bodensteiner, Michael Arens
• Abstract要約: ビデオシーケンスのセマンティックなピクセルラベルを教師なしで改善できるラベル融合フレームワークを提案する。 環境の3Dメッシュ表現を使用し、異なるフレームの予測をセマンティックメッシュテクスチャを用いた一貫した表現に融合する。 我々は,最先端セグメンテーションネットワークESANetが生成するアノテーションを52.05 %から58.25 %のピクセル精度で改善するScannetデータセット上で評価した。
• 参考スコア（独自算出の注目度）: 10.645137380835994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models for semantic segmentation require a large amount of hand-labeled training data which is costly and time-consuming to produce. For this purpose, we present a label fusion framework that is capable of improving semantic pixel labels of video sequences in an unsupervised manner. We make use of a 3D mesh representation of the environment and fuse the predictions of different frames into a consistent representation using semantic mesh textures. Rendering the semantic mesh using the original intrinsic and extrinsic camera parameters yields a set of improved semantic segmentation images. Due to our optimized CUDA implementation, we are able to exploit the entire $c$-dimensional probability distribution of annotations over $c$ classes in an uncertainty-aware manner. We evaluate our method on the Scannet dataset where we improve annotations produced by the state-of-the-art segmentation network ESANet from $52.05 \%$ to $58.25 \%$ pixel accuracy. We publish the source code of our framework online to foster future research in this area (\url{https://github.com/fferflo/semantic-meshes}). To the best of our knowledge, this is the first publicly available label fusion framework for semantic image segmentation based on meshes with semantic textures.
• Abstract（参考訳）: セマンティクスセグメンテーションのためのモデルは、作成にコストと時間を要する大量の手ラベルのトレーニングデータを必要とする。 そこで本研究では,ビデオシーケンスの意味的画素ラベルを教師なしで改善できるラベル融合フレームワークを提案する。 我々は,環境の3次元メッシュ表現を利用し,異なるフレームの予測をセマンティックメッシュテクスチャを用いた一貫した表現に融合する。 本来の内在的および外在的カメラパラメータを用いてセマンティックメッシュをレンダリングすると、改良されたセマンティックセグメンテーションイメージが生成される。 最適化されたCUDA実装により、不確実性を認識した方法で、$c$クラス上のアノテーションの$c$次元の確率分布全体を活用できる。 我々は,最先端セグメンテーションネットワーク ESANet が生成するアノテーションを 52.05 %$ から 58.25 %$ ピクセル精度に改善する Scannet データセット上で評価を行った。 この領域における将来の研究を促進するために、我々のフレームワークのソースコードをオンラインで公開します(\url{https://github.com/fferflo/semantic-meshes})。 我々の知る限り、これはセマンティックテクスチャを持つメッシュに基づくセマンティックイメージセグメンテーションのための、初めて公開されたラベル融合フレームワークである。

関連論文リスト

• FuseNet: Self-Supervised Dual-Path Network for Medical Image Segmentation [3.485615723221064]
  FuseNetは、自己教師型セマンティックセグメンテーションのためのデュアルストリームフレームワークである。 クロスモーダル融合技術は、テキストデータを拡張画像に置き換えることで、CLIPの原理を拡張している。 皮膚病変と肺分画データセットの実験により, 本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-11-22T00:03:16Z)
• MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner for Open-World Semantic Segmentation [110.09800389100599]
  セマンティックセグメンテーションのための新鮮で簡単な事前学習パラダイムであるMixReorgを提案する。 我々のアプローチは、パッチとテキストの対応を保ちながら、画像パッチを混合することで、きめ細かいパッチテキストペアデータを生成することである。 マスク学習者としてMixReorgを使用することで、従来のテキスト教師付きセマンティックセマンティックセマンティックモデルは、非常に一般化可能なピクセル・セマンティックアライメントを実現することができる。
  論文  参考訳（メタデータ） (2023-08-09T09:35:16Z)
• Language-driven Semantic Segmentation [88.21498323896475]
  本稿では,言語駆動型セマンティックイメージセグメンテーションの新しいモデルLSegを提案する。 テキストエンコーダを用いて記述型入力ラベルの埋め込みを計算する。 エンコーダは、画素埋め込みを対応するセマンティッククラスのテキスト埋め込みに合わせるために、対照的な目的で訓練される。
  論文  参考訳（メタデータ） (2022-01-10T18:59:10Z)
• Reference-guided Pseudo-Label Generation for Medical Semantic Segmentation [25.76014072179711]
  本稿では,半教師付きセマンティックセグメンテーションのための管理手法を提案する。 少数のラベル付き画像を参照材料として使用し、未ラベル画像中の画素と参照集合内の最適な画素のセマンティクスを一致させる。 我々は,X線解剖学的セグメンテーションにおける標準完全教師付きモデルと同じ性能を達成するが,ラベル付き画像の95%は少ない。
  論文  参考訳（メタデータ） (2021-12-01T12:21:24Z)
• Maximize the Exploration of Congeneric Semantics for Weakly Supervised Semantic Segmentation [27.155133686127474]
  グラフニューラルネットワーク(P-GNN)を,同一のクラスラベルを含む異なる画像からの自己検出パッチに基づいて構築する。 PASCAL VOC 2012ベンチマークで実験を行い、そのモデルにより最先端の性能が得られた。
  論文  参考訳（メタデータ） (2021-10-08T08:59:16Z)
• Segmenter: Transformer for Semantic Segmentation [79.9887988699159]
  セマンティックセグメンテーションのためのトランスフォーマーモデルであるSegmenterを紹介します。 最近のViT(Vision Transformer)上に構築し,セマンティックセグメンテーションに拡張する。 これは、挑戦的なADE20Kデータセット上でのアートの状態を上回り、Pascal ContextとCityscapesでオンパーを実行する。
  論文  参考訳（メタデータ） (2021-05-12T13:01:44Z)
• Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization [112.68171734288237]
  本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
  論文  参考訳（メタデータ） (2021-04-12T21:41:25Z)
• Improving Semantic Segmentation via Decoupled Body and Edge Supervision [89.57847958016981]
  既存のセグメンテーションアプローチは、グローバルコンテキストをモデル化することでオブジェクトの内部の一貫性を改善すること、あるいはマルチスケールの特徴融合によって境界に沿ったオブジェクトの詳細を洗練することを目的としている。 本稿では,セマンティックセグメンテーションのための新しいパラダイムを提案する。 我々の洞察は、セマンティックセグメンテーションの魅力ある性能には、画像の高頻度と低頻度に対応するオブジェクトのテキストボディとテキストエッジを具体的にモデル化する必要があるということである。 さまざまなベースラインやバックボーンネットワークを備えた提案したフレームワークが,オブジェクト内部の一貫性とオブジェクト境界を向上させることを示す。
  論文  参考訳（メタデータ） (2020-07-20T12:11:22Z)
• PCAMs: Weakly Supervised Semantic Segmentation Using Point Supervision [12.284208932393073]
  本稿では,ある点レベルのアノテーションが与えられた画像から意味的セグメンテーションを生成する新しい手法を提案する。 提案するCNNは,通常,地上の真理ラベルの代わりに擬似ラベルを用いて完全に教師される。 提案手法は,PASCAL VOC 2012 データセットを引用した PASCAL VOC 2012 のセマンティックセマンティックセマンティフィケーションのための技術結果の状態を達成し,より強いバウンディングボックスやリスグル管理のための技術手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-07-10T21:25:27Z)
• RGB-based Semantic Segmentation Using Self-Supervised Depth Pre-Training [77.62171090230986]
  本稿では,任意の意味的RGBセグメンテーション手法の事前学習に使用できる,スケーラブルで自己管理の容易な手法を提案する。 特に、我々の事前学習アプローチでは、深度センサーを用いて得られるラベルを自動生成する。 提案したHNラベルによる自己教師付き事前学習が,ImageNetの事前学習にどのように応用できるかを示す。
  論文  参考訳（メタデータ） (2020-02-06T11:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。