論文の概要: GARField: Group Anything with Radiance Fields

• arxiv url: http://arxiv.org/abs/2401.09419v1
• Date: Wed, 17 Jan 2024 18:57:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 15:04:40.783327
• Title: GARField: Group Anything with Radiance Fields
• Title（参考訳）: GARField: 放射界を持つグループ
• Authors: Chung Min Kim, Mingxuan Wu, Justin Kerr, Ken Goldberg, Matthew Tancik, Angjoo Kanazawa
• Abstract要約: Group Anything with Radiance Fields (GARField) は、3Dシーンを画像入力から意味的に意味のあるグループの階層に分解するアプローチである。 この領域を,Segment Anything(SAM)が提供する2次元マスクの集合から,粗い階層構造を尊重する方法で最適化する。 このフィールドから、自動ツリー構築やユーザインタラクションを通じて、グループ化可能な階層を導出することができます。
• 参考スコア（独自算出の注目度）: 44.953429964545144
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Grouping is inherently ambiguous due to the multiple levels of granularity in which one can decompose a scene -- should the wheels of an excavator be considered separate or part of the whole? We present Group Anything with Radiance Fields (GARField), an approach for decomposing 3D scenes into a hierarchy of semantically meaningful groups from posed image inputs. To do this we embrace group ambiguity through physical scale: by optimizing a scale-conditioned 3D affinity feature field, a point in the world can belong to different groups of different sizes. We optimize this field from a set of 2D masks provided by Segment Anything (SAM) in a way that respects coarse-to-fine hierarchy, using scale to consistently fuse conflicting masks from different viewpoints. From this field we can derive a hierarchy of possible groupings via automatic tree construction or user interaction. We evaluate GARField on a variety of in-the-wild scenes and find it effectively extracts groups at many levels: clusters of objects, objects, and various subparts. GARField inherently represents multi-view consistent groupings and produces higher fidelity groups than the input SAM masks. GARField's hierarchical grouping could have exciting downstream applications such as 3D asset extraction or dynamic scene understanding. See the project website at https://www.garfield.studio/
• Abstract（参考訳）: 群れは本質的に不明瞭である。それは、複数の粒度の粒度がシーンを分解できるからである。掘削機の車輪は分離されたもの、あるいは全体の一部と見なすべきか? 本稿では,3次元シーンを画像入力から意味的に有意なグループの階層に分解する手法であるGARField(Group Anything with Radiance Fields)を提案する。 スケール条件付き3次元親和性特徴体を最適化することにより、世界の点は異なる大きさの異なる群に属することができる。 我々はこのフィールドを、異なる視点から相反するマスクを一貫して融合させるスケールを用いて、粗から細までの階層を尊重する方法で、セグメント・オール(sam)によって提供される2dマスクの集合から最適化する。 このフィールドから、自動ツリー構築やユーザインタラクションを通じて、グループ化可能な階層を導出することができます。 我々はGARFieldを様々なシーンで評価し、オブジェクトのクラスタ、オブジェクト、および様々なサブパートの様々なレベルのグループを効果的に抽出する。 GARFieldは本質的にマルチビュー一貫したグループを表現し、入力されたSAMマスクよりも高い忠実度グループを生成する。 GARFieldの階層的なグループ化は、3Dアセット抽出や動的シーン理解などの下流アプリケーションにエキサイティングな応用をもたらす可能性がある。 プロジェクトのwebサイトはhttps://www.garfield.studio/。

関連論文リスト

• View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
  我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。 本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:14:58Z)
• HGFormer: Hierarchical Grouping Transformer for Domain Generalized Semantic Segmentation [113.6560373226501]
  本研究は領域一般化設定の下で意味的セグメンテーションを研究する。 本稿では,階層型グループ化変換器(HGFormer)を提案する。 実験により、HGFormerはピクセルごとの分類法やフラットグルーピング変換器よりも、より堅牢なセマンティックセグメンテーション結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-22T13:33:41Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• Discovering Object Masks with Transformers for Unsupervised Semantic Segmentation [75.00151934315967]
  MaskDistillは教師なしセマンティックセグメンテーションのための新しいフレームワークである。 我々のフレームワークは、低レベルの画像キューにラッチを付けず、オブジェクト中心のデータセットに限らない。
  論文  参考訳（メタデータ） (2022-06-13T17:59:43Z)
• Unsupervised Hierarchical Semantic Segmentation with Multiview Cosegmentation and Clustering Transformers [47.45830503277631]
  グループ化は自然に粒度のレベルを持ち、教師なしのセグメンテーションにおいて曖昧さを生み出す。 階層的セグメンテーショングループ(HSG)と呼ばれる,データ駆動型非教師付き階層的セグメンテーション手法を初めて提供する。
  論文  参考訳（メタデータ） (2022-04-25T04:40:46Z)
• Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From Learned Pairwise Affinity [59.1823948436411]
  我々は、マスク提案のための新しいアプローチ、ジェネリックグループネットワーク(GGN)を提案する。 我々のアプローチは、ピクセル親和性の局所測定とインスタンスレベルのマスク監視を組み合わせることで、データの多様性が許容するほど汎用的なモデルを設計したトレーニングレギュレータを生成する。
  論文  参考訳（メタデータ） (2022-04-12T22:37:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。