論文の概要: Refining Segmentation On-the-Fly: An Interactive Framework for Point Cloud Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2403.06401v1
• Date: Mon, 11 Mar 2024 03:24:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 20:34:47.093024
• Title: Refining Segmentation On-the-Fly: An Interactive Framework for Point Cloud Semantic Segmentation
• Title（参考訳）: ポイントクラウドセマンティックセマンティックセマンティックセマンティクスのためのインタラクティブフレームワークOn-the-Fly
• Authors: Peng Zhang and Ting Wu and Jinsheng Sun and Weiqing Li and Zhiyong Su
• Abstract要約: ポイントクラウドセマンティックセマンティックセグメンテーションのための最初の対話型フレームワークであるInterPCSegを提示する。 本研究では,対話型ポイントクラウドセマンティックセマンティックセグメンテーションタスクに適したインタラクションシミュレーション手法を開発した。 市販セグメンテーションネットワークを用いたS3DISおよびScanNetデータセットのフレームワークの評価を行った。
• 参考スコア（独自算出の注目度）: 9.832150567595718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing interactive point cloud segmentation approaches primarily focus on the object segmentation, which aim to determine which points belong to the object of interest guided by user interactions. This paper concentrates on an unexplored yet meaningful task, i.e., interactive point cloud semantic segmentation, which assigns high-quality semantic labels to all points in a scene with user corrective clicks. Concretely, we presents the first interactive framework for point cloud semantic segmentation, named InterPCSeg, which seamlessly integrates with off-the-shelf semantic segmentation networks without offline re-training, enabling it to run in an on-the-fly manner. To achieve online refinement, we treat user interactions as sparse training examples during the test-time. To address the instability caused by the sparse supervision, we design a stabilization energy to regulate the test-time training process. For objective and reproducible evaluation, we develop an interaction simulation scheme tailored for the interactive point cloud semantic segmentation task. We evaluate our framework on the S3DIS and ScanNet datasets with off-the-shelf segmentation networks, incorporating interactions from both the proposed interaction simulator and real users. Quantitative and qualitative experimental results demonstrate the efficacy of our framework in refining the semantic segmentation results with user interactions. The source code will be publicly available.
• Abstract（参考訳）: 既存のインタラクティブポイントクラウドセグメンテーションアプローチは、主にオブジェクトセグメンテーションに焦点を当て、ユーザインタラクションによって導かれる関心の対象に属するポイントを決定することを目的としている。 本稿では,対話的ポイントクラウドセマンティックセマンティックセグメンテーション(対話的ポイントクラウドセマンティックセマンティックセグメンテーション)という,未探索かつ有意義なタスクに焦点を合わせ,ユーザの修正クリックのあるシーンのすべてのポイントに高品質なセマンティックラベルを割り当てる。 具体的には、オフラインで再トレーニングすることなく、オフラインでセマンティクスセグメンテーションネットワークとシームレスに統合し、オンザフライで実行できるようにする、interpcsegという、ポイントクラウドセマンティクスセグメンテーションのための最初のインタラクティブフレームワークを提案する。 オンラインリファインメントを実現するため,テスト期間中のユーザインタラクションをスパーストレーニング例として扱う。 スパース管理による不安定性に対処するため,テストタイムトレーニングプロセスの安定化エネルギーを設計する。 客観的かつ再現可能な評価のために,対話型ポイントクラウドセマンティクスセグメンテーションタスクに適したインタラクションシミュレーションスキームを開発した。 我々は,S3DISおよびScanNetデータセットを市販セグメンテーションネットワークで評価し,提案したインタラクションシミュレータと実ユーザの両方のインタラクションを取り入れた。 定量的および定性的な実験結果から,セマンティックセグメンテーションの結果をユーザインタラクションで精査する際のフレームワークの有効性が示された。 ソースコードは公開される予定だ。

関連論文リスト

• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• TETRIS: Towards Exploring the Robustness of Interactive Segmentation [39.1981941213761]
  対話型セグメンテーションモデルに対するホワイトボックス逆攻撃において, 直接最適化により極端なユーザ入力を見つける手法を提案する。 本報告では,多数のモデルについて広範囲な評価を行った結果について報告する。
  論文  参考訳（メタデータ） (2024-02-09T01:36:21Z)
• Interactive segmentation in aerial images: a new benchmark and an open access web-based tool [2.729446374377189]
  近年,コンピュータビジョンにおける対話型セマンティックセマンティックセマンティクスは,人間とコンピュータの相互作用セマンティクスの理想的な状態を実現している。 本研究の目的は,対話型セグメンテーションモデルのベンチマークにより,対話型セグメンテーションとリモートセンシング分析のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-08-25T04:49:49Z)
• Adaptive Edge-to-Edge Interaction Learning for Point Cloud Analysis [118.30840667784206]
  ポイントクラウドデータ処理の大きな問題は、ローカルリージョンから有用な情報を抽出することだ。 従来の研究は、局所的な形状情報を符号化する地域におけるエッジ間の関係を無視していた。 本稿では,Adaptive Edge-to-Edge Interaction Learningモジュールを提案する。
  論文  参考訳（メタデータ） (2022-11-20T07:10:14Z)
• Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
  本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。 提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2022-07-18T09:20:04Z)
• Multi-Stage Fusion for One-Click Segmentation [20.00726292545008]
  対話型セグメンテーションのための多段階ガイダンスフレームワークを提案する。 提案フレームワークは,早期融合フレームワークと比較してパラメータ数の増加は無視できない。
  論文  参考訳（メタデータ） (2020-10-19T17:07:40Z)
• Mixup-CAM: Weakly-supervised Semantic Segmentation via Uncertainty Regularization [73.03956876752868]
  我々は、ネットワークがオブジェクトの他の部分に注意を払うことを可能にする、原則的でエンドツーエンドのトレーニング可能なフレームワークを提案する。 具体的には、ミックスアップデータ拡張方式を分類ネットワークに導入し、2つの不確実な正規化項を設計し、ミックスアップ戦略をよりよく扱う。
  論文  参考訳（メタデータ） (2020-08-03T21:19:08Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• Bi-Directional Attention for Joint Instance and Semantic Segmentation in Point Clouds [9.434847591440485]
  バックボーンニューラルネットワーク上にバイディレクショナル・アテンション・モジュールを構築し、3Dポイント・クラウド・インセプションを実現する。 これは、あるタスクの特徴から測定された類似度行列を使用して、他のタスクの非ローカル情報を集約する。 S3DISデータセットとPartNetデータセットに関する総合実験とアブレーション研究から,本手法の優位性を検証した。
  論文  参考訳（メタデータ） (2020-03-11T17:16:07Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。