論文の概要: Interactive Segment Anything NeRF with Feature Imitation

• arxiv url: http://arxiv.org/abs/2305.16233v1
• Date: Thu, 25 May 2023 16:44:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 13:40:47.854663
• Title: Interactive Segment Anything NeRF with Feature Imitation
• Title（参考訳）: 特徴を模倣した対話型セグメンテーションNeRF
• Authors: Xiaokang Chen, Jiaxiang Tang, Diwen Wan, Jingbo Wang, Gang Zeng
• Abstract要約: 我々は,NeRFを用いたゼロショットセマンティックセグメンテーションを実現するために,オフザシェルフ認識モデルのバックボーン特徴を模倣することを提案する。 本フレームワークは,意味的特徴を直接描画し,認識モデルからデコーダのみを適用することによって,セグメンテーションプロセスを再構築する。 さらに,学習したセマンティクスを抽出したメッシュ表面に投影することで,リアルタイムインタラクションを実現する。
• 参考スコア（独自算出の注目度）: 20.972098365110426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the potential of enhancing Neural Radiance Fields (NeRF) with semantics to expand their applications. Although NeRF has been proven useful in real-world applications like VR and digital creation, the lack of semantics hinders interaction with objects in complex scenes. We propose to imitate the backbone feature of off-the-shelf perception models to achieve zero-shot semantic segmentation with NeRF. Our framework reformulates the segmentation process by directly rendering semantic features and only applying the decoder from perception models. This eliminates the need for expensive backbones and benefits 3D consistency. Furthermore, we can project the learned semantics onto extracted mesh surfaces for real-time interaction. With the state-of-the-art Segment Anything Model (SAM), our framework accelerates segmentation by 16 times with comparable mask quality. The experimental results demonstrate the efficacy and computational advantages of our approach. Project page: \url{https://me.kiui.moe/san/}.
• Abstract（参考訳）: 本稿では,NeRF(Neural Radiance Fields)のセマンティクスによる拡張の可能性について検討する。 NeRFはVRやデジタル創造のような現実世界のアプリケーションで有用であることが証明されているが、セマンティクスの欠如は複雑な場面におけるオブジェクトとの相互作用を妨げる。 本稿では,nerfを用いたゼロショットセマンティクスセグメンテーションを実現するために,市販知覚モデルのバックボーン特徴を模倣する。 本フレームワークは,意味的特徴を直接描画し,認識モデルからデコーダのみを適用することによってセグメンテーションプロセスを再構築する。 これにより、高価なバックボーンが不要になり、3D一貫性がもたらされる。 さらに,学習したセマンティクスを抽出したメッシュ表面に投影することで,リアルタイムインタラクションを実現する。 sam(state-of-the-art segment anything)モデルによって、当社のフレームワークはセグメンテーションを16倍高速化し、同等のマスク品質を実現しています。 実験の結果,本手法の有効性と計算能力が示された。 プロジェクトページ: \url{https://me.kiui.moe/san/}。

関連論文リスト

• DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors [4.697267141773321]
  人-物体相互作用(HOI)のゼロショット合成法であるDreamHOIを提案する。 我々は、何十億もの画像キャプチャーペアで訓練されたテキストと画像の拡散モデルを利用して、リアルなHOIを生成する。 提案手法は広範囲な実験を通じて検証し,現実的なHOIを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T17:59:49Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
  ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T00:42:06Z)
• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• Interactive Segmentation of Radiance Fields [7.9020917073764405]
  個人空間における混合現実は、RFとして表されるシーンを理解し、操作する必要がある。 オブジェクトを細かな構造と外観で対話的に分割するISRF法を提案する。
  論文  参考訳（メタデータ） (2022-12-27T16:33:19Z)
• SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
  SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。 SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。 SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2022-11-21T07:16:03Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields [32.200557554874784]
  本稿では,暗黙の3次元表現とニューラルレンダリングの最近の進歩を活用し,シーン理解への新たなアプローチを提案する。 ニューラル・レージアンス・フィールド(NeRF)の大成功を生かして,ネRFを用いたシーン・プロパリティ・シンセサイザーを導入する。 セマンティックセグメンテーション,表面正規推定,リシェーディング,キーポイント検出,エッジ検出など,統合されたフレームワーク下でのさまざまなシーン理解タスクへの対処を容易にする。
  論文  参考訳（メタデータ） (2022-06-09T17:59:50Z)
• Semantic-Aware Implicit Neural Audio-Driven Video Portrait Generation [61.8546794105462]
  我々は,一組のNeRFを用いて,繊細な音声駆動のポートレートを生成するセマンティック・アウェア・ポーティング・ポートレート・ネRF(SSP-NeRF)を提案する。 まず,音声によるボリュームレンダリングを容易にする解析機能を備えたSemantic-Aware Dynamic Ray Smplingモジュールを提案する。 1つの統合神経放射場におけるポートレートレンダリングを可能にするため、Torso変形モジュールは、大規模な非剛性胴体運動を安定させるように設計されている。
  論文  参考訳（メタデータ） (2022-01-19T18:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。