論文の概要: Interactive Segmentation of Radiance Fields
- arxiv url: http://arxiv.org/abs/2212.13545v2
- Date: Sat, 25 Mar 2023 16:05:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 01:02:03.382852
- Title: Interactive Segmentation of Radiance Fields
- Title(参考訳): 放射場の対話的セグメンテーション
- Authors: Rahul Goel, Dhawal Sirikonda, Saurabh Saini and PJ Narayanan
- Abstract要約: 個人空間における混合現実は、RFとして表されるシーンを理解し、操作する必要がある。
オブジェクトを細かな構造と外観で対話的に分割するISRF法を提案する。
- 参考スコア(独自算出の注目度): 7.9020917073764405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Radiance Fields (RF) are popular to represent casually-captured scenes for
new view synthesis and several applications beyond it. Mixed reality on
personal spaces needs understanding and manipulating scenes represented as RFs,
with semantic segmentation of objects as an important step. Prior segmentation
efforts show promise but don't scale to complex objects with diverse
appearance. We present the ISRF method to interactively segment objects with
fine structure and appearance. Nearest neighbor feature matching using
distilled semantic features identifies high-confidence seed regions. Bilateral
search in a joint spatio-semantic space grows the region to recover accurate
segmentation. We show state-of-the-art results of segmenting objects from RFs
and compositing them to another scene, changing appearance, etc., and an
interactive segmentation tool that others can use.
Project Page: https://rahul-goel.github.io/isrf/
- Abstract(参考訳): RF(Radiance Fields)は、新しいビュー合成のためのカジュアルにキャプチャされたシーンと、それを超えるいくつかのアプリケーションを表すために人気がある。
個人空間における混合現実は、オブジェクトの意味的セグメンテーションを重要なステップとして、RFとして表現されるシーンを理解し、操作する必要がある。
事前のセグメンテーションの取り組みは約束を示しますが、さまざまな外観を持つ複雑なオブジェクトにはスケールしません。
オブジェクトを細かな構造と外観で対話的に分割するISRF法を提案する。
蒸留セマンティック特徴を用いた最も近い近傍特徴マッチングは高信頼種子領域を同定する。
共役空間における両側探索は領域を成長させ、正確なセグメンテーションを回復する。
RFからオブジェクトを分割し、それを別のシーンに合成したり、外観を変えたり、インタラクティブなセグメンテーションツールなど、最先端の結果を示す。
プロジェクトページ: https://rahul-goel.github.io/isrf/
関連論文リスト
- SANeRF-HQ: Segment Anything for NeRF in High Quality [67.48761798347905]
シーン内の物体の高品質な3Dセグメンテーションを実現するために, 高品質のNeRF用セグメンテーション(SANeRF-HQ)を導入する。
我々は,集約時のセグメンテーション境界の精度を高めるために密度場とRGB類似性を用いる。
論文 参考訳(メタデータ) (2023-12-03T23:09:38Z) - GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene
Understanding [105.69002990314864]
Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。
本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
論文 参考訳(メタデータ) (2023-11-20T15:59:41Z) - Hierarchical Open-vocabulary Universal Image Segmentation [48.008887320870244]
Open-vocabulary Image segmentationは、任意のテキスト記述に従ってイメージをセマンティック領域に分割することを目的としている。
我々は,「モノ」と「スタッフ」の双方に対して,分離されたテキストイメージ融合機構と表現学習モジュールを提案する。
HIPIE tackles, HIerarchical, oPen-vocabulary, unIvErsal segmentation task in a unified framework。
論文 参考訳(メタデータ) (2023-07-03T06:02:15Z) - Interactive Segment Anything NeRF with Feature Imitation [20.972098365110426]
我々は,NeRFを用いたゼロショットセマンティックセグメンテーションを実現するために,オフザシェルフ認識モデルのバックボーン特徴を模倣することを提案する。
本フレームワークは,意味的特徴を直接描画し,認識モデルからデコーダのみを適用することによって,セグメンテーションプロセスを再構築する。
さらに,学習したセマンティクスを抽出したメッシュ表面に投影することで,リアルタイムインタラクションを実現する。
論文 参考訳(メタデータ) (2023-05-25T16:44:51Z) - Semantically Enhanced Global Reasoning for Semantic Segmentation [37.64601713565947]
画像特徴を潜在領域表現に投影し,グローバルな推論を行うことを学ぶ。
結果として生じる意味的グローバル推論(SGR)は、エンドツーエンドのトレーニングが可能で、任意の意味的セグメンテーションフレームワークと組み合わせることができる。
オブジェクトクラスとインスタンスレベルの両方で表現の意味を計測できる新しいメトリクスを提案する。
論文 参考訳(メタデータ) (2022-12-06T21:42:05Z) - Unsupervised Multi-View Object Segmentation Using Radiance Field
Propagation [55.9577535403381]
本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。
提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。
我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
論文 参考訳(メタデータ) (2022-10-02T11:14:23Z) - NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex
Real-World Scenes [80.59831861186227]
本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。
我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。
他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
論文 参考訳(メタデータ) (2022-09-19T06:03:17Z) - Locate then Segment: A Strong Pipeline for Referring Image Segmentation [73.19139431806853]
参照画像セグメンテーションは、自然言語表現によって参照されるオブジェクトをセグメンテーションすることを目的とする。
従来の方法は、視覚言語機能を融合させ、最終的なセグメンテーションマスクを直接生成するための暗黙的および反復的な相互作用メカニズムの設計に焦点を当てています。
これらの問題に取り組むための「Then-Then-Segment」スキームを紹介します。
私たちのフレームワークはシンプルですが驚くほど効果的です。
論文 参考訳(メタデータ) (2021-03-30T12:25:27Z) - Improving Semantic Segmentation via Decoupled Body and Edge Supervision [89.57847958016981]
既存のセグメンテーションアプローチは、グローバルコンテキストをモデル化することでオブジェクトの内部の一貫性を改善すること、あるいはマルチスケールの特徴融合によって境界に沿ったオブジェクトの詳細を洗練することを目的としている。
本稿では,セマンティックセグメンテーションのための新しいパラダイムを提案する。
我々の洞察は、セマンティックセグメンテーションの魅力ある性能には、画像の高頻度と低頻度に対応するオブジェクトのテキストボディとテキストエッジを具体的にモデル化する必要があるということである。
さまざまなベースラインやバックボーンネットワークを備えた提案したフレームワークが,オブジェクト内部の一貫性とオブジェクト境界を向上させることを示す。
論文 参考訳(メタデータ) (2020-07-20T12:11:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。