論文の概要: Interactive Segmentation of Radiance Fields

• arxiv url: http://arxiv.org/abs/2212.13545v2
• Date: Sat, 25 Mar 2023 16:05:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 01:02:03.382852
• Title: Interactive Segmentation of Radiance Fields
• Title（参考訳）: 放射場の対話的セグメンテーション
• Authors: Rahul Goel, Dhawal Sirikonda, Saurabh Saini and PJ Narayanan
• Abstract要約: 個人空間における混合現実は、RFとして表されるシーンを理解し、操作する必要がある。 オブジェクトを細かな構造と外観で対話的に分割するISRF法を提案する。
• 参考スコア（独自算出の注目度）: 7.9020917073764405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Radiance Fields (RF) are popular to represent casually-captured scenes for new view synthesis and several applications beyond it. Mixed reality on personal spaces needs understanding and manipulating scenes represented as RFs, with semantic segmentation of objects as an important step. Prior segmentation efforts show promise but don't scale to complex objects with diverse appearance. We present the ISRF method to interactively segment objects with fine structure and appearance. Nearest neighbor feature matching using distilled semantic features identifies high-confidence seed regions. Bilateral search in a joint spatio-semantic space grows the region to recover accurate segmentation. We show state-of-the-art results of segmenting objects from RFs and compositing them to another scene, changing appearance, etc., and an interactive segmentation tool that others can use. Project Page: https://rahul-goel.github.io/isrf/
• Abstract（参考訳）: RF(Radiance Fields)は、新しいビュー合成のためのカジュアルにキャプチャされたシーンと、それを超えるいくつかのアプリケーションを表すために人気がある。 個人空間における混合現実は、オブジェクトの意味的セグメンテーションを重要なステップとして、RFとして表現されるシーンを理解し、操作する必要がある。 事前のセグメンテーションの取り組みは約束を示しますが、さまざまな外観を持つ複雑なオブジェクトにはスケールしません。 オブジェクトを細かな構造と外観で対話的に分割するISRF法を提案する。 蒸留セマンティック特徴を用いた最も近い近傍特徴マッチングは高信頼種子領域を同定する。 共役空間における両側探索は領域を成長させ、正確なセグメンテーションを回復する。 RFからオブジェクトを分割し、それを別のシーンに合成したり、外観を変えたり、インタラクティブなセグメンテーションツールなど、最先端の結果を示す。 プロジェクトページ: https://rahul-goel.github.io/isrf/

関連論文リスト

• Revisit Anything: Visual Place Recognition via Image Segment Retrieval [8.544326445217369]
  既存の視覚的場所認識パイプラインは、"全体"イメージをエンコードし、マッチを検索する。 画像全体の代わりに「画像セグメント」をエンコードして検索することで、この問題に対処する。 これらの部分的表現を検索すると、通常の画像ベース検索よりも認識リコールが大幅に高くなることを示す。
  論文  参考訳（メタデータ） (2024-09-26T16:49:58Z)
• View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
  我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。 本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:14:58Z)
• RoboHop: Segment-based Topological Map Representation for Open-World Visual Navigation [18.053914853235142]
  画像セグメントに基づく新しい環境表現を提案する。 3次元シーングラフとは異なり、セグメントをノードとする純粋に位相グラフを作成する。 これはセグメント間の永続性によって定義される「場所の連続的な感覚」を明らかにする。
  論文  参考訳（メタデータ） (2024-05-09T14:17:26Z)
• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• Interactive Segment Anything NeRF with Feature Imitation [20.972098365110426]
  我々は,NeRFを用いたゼロショットセマンティックセグメンテーションを実現するために,オフザシェルフ認識モデルのバックボーン特徴を模倣することを提案する。 本フレームワークは,意味的特徴を直接描画し,認識モデルからデコーダのみを適用することによって,セグメンテーションプロセスを再構築する。 さらに,学習したセマンティクスを抽出したメッシュ表面に投影することで,リアルタイムインタラクションを実現する。
  論文  参考訳（メタデータ） (2023-05-25T16:44:51Z)
• Framework-agnostic Semantically-aware Global Reasoning for Segmentation [29.69187816377079]
  本稿では,画像特徴を潜在表現に投影し,それら間の関係を推論するコンポーネントを提案する。 我々の設計では、活性化領域が空間的に不整合であることを保証することにより、潜在領域が意味概念を表現することを奨励している。 潜在トークンはセマンティックに解釈可能で多様性があり、下流タスクに転送可能な豊富な機能セットを提供します。
  論文  参考訳（メタデータ） (2022-12-06T21:42:05Z)
• Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation [55.9577535403381]
  本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
  論文  参考訳（メタデータ） (2022-10-02T11:14:23Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• Locate then Segment: A Strong Pipeline for Referring Image Segmentation [73.19139431806853]
  参照画像セグメンテーションは、自然言語表現によって参照されるオブジェクトをセグメンテーションすることを目的とする。 従来の方法は、視覚言語機能を融合させ、最終的なセグメンテーションマスクを直接生成するための暗黙的および反復的な相互作用メカニズムの設計に焦点を当てています。 これらの問題に取り組むための「Then-Then-Segment」スキームを紹介します。 私たちのフレームワークはシンプルですが驚くほど効果的です。
  論文  参考訳（メタデータ） (2021-03-30T12:25:27Z)
• Improving Semantic Segmentation via Decoupled Body and Edge Supervision [89.57847958016981]
  既存のセグメンテーションアプローチは、グローバルコンテキストをモデル化することでオブジェクトの内部の一貫性を改善すること、あるいはマルチスケールの特徴融合によって境界に沿ったオブジェクトの詳細を洗練することを目的としている。 本稿では,セマンティックセグメンテーションのための新しいパラダイムを提案する。 我々の洞察は、セマンティックセグメンテーションの魅力ある性能には、画像の高頻度と低頻度に対応するオブジェクトのテキストボディとテキストエッジを具体的にモデル化する必要があるということである。 さまざまなベースラインやバックボーンネットワークを備えた提案したフレームワークが,オブジェクト内部の一貫性とオブジェクト境界を向上させることを示す。
  論文  参考訳（メタデータ） (2020-07-20T12:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。