論文の概要: GSN: Generalisable Segmentation in Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2402.04632v1
• Date: Wed, 7 Feb 2024 07:29:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 16:13:44.505579
• Title: GSN: Generalisable Segmentation in Neural Radiance Field
• Title（参考訳）: GSN:ニューラルラジアンス場における一般セグメンテーション
• Authors: Vinayak Gupta, Rahul Goel, Sirikonda Dhawal, P. J. Narayanan
• Abstract要約: 一般化されたGNT表現に特徴体を除去する方法を提案する。 我々のGSN表現は、一貫したピクセルごとのセマンティックな特徴とともに、目に見えないシーンの新たなビューを生成します。 私たちのマルチビューセグメンテーション結果は、従来のRFを使用するメソッドと同等です。
• 参考スコア（独自算出の注目度）: 10.436066294306075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional Radiance Field (RF) representations capture details of a specific scene and must be trained afresh on each scene. Semantic feature fields have been added to RFs to facilitate several segmentation tasks. Generalised RF representations learn the principles of view interpolation. A generalised RF can render new views of an unknown and untrained scene, given a few views. We present a way to distil feature fields into the generalised GNT representation. Our GSN representation generates new views of unseen scenes on the fly along with consistent, per-pixel semantic features. This enables multi-view segmentation of arbitrary new scenes. We show different semantic features being distilled into generalised RFs. Our multi-view segmentation results are on par with methods that use traditional RFs. GSN closes the gap between standard and generalisable RF methods significantly. Project Page: https://vinayak-vg.github.io/GSN/
• Abstract（参考訳）: 伝統的なラジアンス・フィールド(RF)表現は特定のシーンの詳細を捉え、各シーンでアフレッシュを訓練しなければならない。 セグメンテーションタスクを容易にするために、rfsにセマンティック特徴フィールドが追加された。 一般化されたRF表現は、ビュー補間原理を学ぶ。 一般化されたRFは、いくつかのビューを考えると、未知の未学習シーンの新たなビューを描画することができる。 一般化されたGNT表現に特徴体を除去する方法を提案する。 我々のGSN表現は、一貫したピクセルごとのセマンティックな特徴とともに、目に見えないシーンの新たなビューを生成します。 これにより任意のシーンのマルチビューセグメンテーションが可能になる。 一般化されたRFに蒸留された異なる意味的特徴を示す。 私たちのマルチビューセグメンテーション結果は、従来のRFを使用するメソッドと同等です。 GSNは標準RF法と一般RF法のギャップを著しく埋める。 プロジェクトページ: https://vinayak-vg.github.io/gsn/

関連論文リスト

• TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks [57.73997367306271]
  TrackNeRFは新しいベンチマークをノイズとスパースビューの再構築で設定する。 TrackNeRFは最先端のBARFとSPARFよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-08-20T11:14:23Z)
• CaesarNeRF: Calibrated Semantic Representation for Few-shot Generalizable Neural Rendering [46.14019816734402]
  CaesarNeRFは、数ショットで一般化可能なニューラルレンダリングを前進させるエンドツーエンドのアプローチである。 CaesarNeRFは様々な参照ビューにまたがって最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-11-27T03:09:58Z)
• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• Enhancing NeRF akin to Enhancing LLMs: Generalizable NeRF Transformer with Mixture-of-View-Experts [88.23732496104667]
  クロスシーンの一般化可能なNeRFモデルは、NeRFフィールドの新たなスポットライトとなっている。 我々は、大規模言語モデルから強力なMixture-of-Experts(MoE)のアイデアを"神経化"アーキテクチャにブリッジする。 提案手法は,GNT-MOVE (Mixture-of-View-Experts) とよばれるモデルで,未知のシーンに移動する際の最先端の結果を実験的に示す。
  論文  参考訳（メタデータ） (2023-08-22T21:18:54Z)
• Interactive Segmentation of Radiance Fields [7.9020917073764405]
  個人空間における混合現実は、RFとして表されるシーンを理解し、操作する必要がある。 オブジェクトを細かな構造と外観で対話的に分割するISRF法を提案する。
  論文  参考訳（メタデータ） (2022-12-27T16:33:19Z)
• SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
  SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。 SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。 SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2022-11-21T07:16:03Z)
• X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views [49.55319833743988]
  この記事では、まれに議論されるが重要な設定に焦点を当てる。複数のシーンを表現可能な1つのモデルをトレーニングできるだろうか? 不十分な見解は、非常に疎外で、ほとんど重複しない見解に言及する。 X-NeRFは,座標に基づくマッピングではなく,一般的なシーン完了過程を学習する,完全に明示的なアプローチである。
  論文  参考訳（メタデータ） (2022-10-11T04:29:26Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors [14.911856302172996]
  我々は,事前学習したNeRFで表現された3Dシーンにおいて,望ましくないオブジェクトや望ましくない領域を除去できる最初のフレームワークを紹介した。 より短い時間と少ないユーザ手作業を用いて、複数のビューにまたがって視覚的可視かつ構造的に一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-10T06:54:22Z)
• Stereo Radiance Fields (SRF): Learning View Synthesis for Sparse Views of Novel Scenes [48.0304999503795]
  SRF(Stereo Radiance Fields)は、エンドツーエンドで訓練されたニューラルビュー合成手法である。 SRFは新しいシーンに一般化し、テスト時にスパースビューしか必要としない。 実験の結果、SRFはシーンに過度に収まるのではなく構造を学ぶことがわかった。
  論文  参考訳（メタデータ） (2021-04-14T15:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。