論文の概要: SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields

• arxiv url: http://arxiv.org/abs/2408.06697v1
• Date: Tue, 13 Aug 2024 07:51:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 18:16:48.366309
• Title: SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields
• Title（参考訳）: SlotLifter: 物体中心の放射場を学習するためのスロット誘導機能リフティング
• Authors: Yu Liu, Baoxiong Jia, Yixin Chen, Siyuan Huang,
• Abstract要約: SlotLifterは、シーンの再構築と分解を共同で扱う新しいオブジェクト中心モデルである。 シーン分解における最先端のパフォーマンスと、4つの挑戦的な合成と4つの複雑な実世界のデータセットに対する新規ビュー合成を提供する。
• 参考スコア（独自算出の注目度）: 34.44274200563794
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The ability to distill object-centric abstractions from intricate visual scenes underpins human-level generalization. Despite the significant progress in object-centric learning methods, learning object-centric representations in the 3D physical world remains a crucial challenge. In this work, we propose SlotLifter, a novel object-centric radiance model addressing scene reconstruction and decomposition jointly via slot-guided feature lifting. Such a design unites object-centric learning representations and image-based rendering methods, offering state-of-the-art performance in scene decomposition and novel-view synthesis on four challenging synthetic and four complex real-world datasets, outperforming existing 3D object-centric learning methods by a large margin. Through extensive ablative studies, we showcase the efficacy of designs in SlotLifter, revealing key insights for potential future directions.
• Abstract（参考訳）: 複雑な視覚シーンからオブジェクト中心の抽象化を抽出する能力は、人間レベルの一般化を支えている。 オブジェクト中心学習法が著しく進歩しているにもかかわらず、3次元物理世界におけるオブジェクト中心表現の学習は依然として重要な課題である。 本研究では,スロット誘導機能持ち上げによるシーン再構成と分解を両立させる新しいオブジェクト中心放射率モデルであるSlotLifterを提案する。 このようなデザインは、オブジェクト中心の学習表現と画像ベースのレンダリング手法を結合し、シーン分解における最先端のパフォーマンスと、4つの挑戦的な合成と4つの複雑な実世界のデータセットに対する新規ビュー合成を提供し、既存の3Dオブジェクト中心の学習手法を大きなマージンで上回る。 本研究では,SlotLifterにおける設計の有効性を明らかにするとともに,今後の方向性について重要な知見を提示する。

関連論文リスト

• Zero-Shot Object-Centric Representation Learning [72.43369950684057]
  ゼロショット一般化のレンズによる現在の対象中心法について検討する。 8つの異なる合成および実世界のデータセットからなるベンチマークを導入する。 多様な実世界の画像のトレーニングにより、見えないシナリオへの転送性が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-17T10:37:07Z)
• Unlocking Textual and Visual Wisdom: Open-Vocabulary 3D Object Detection Enhanced by Comprehensive Guidance from Text and Image [70.02187124865627]
  Open-vocabulary 3D object detection (OV-3DDet) は、新しい3Dシーン内において、目に見えないものの両方をローカライズし、認識することを目的としている。 視覚基盤モデルを利用して、3Dシーンにおける新しいクラスを発見するための画像的ガイダンスを提供する。 オープン語彙の3Dオブジェクト検出における基礎モデルの可能性を明らかにするとともに,精度と一般化の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-07-07T04:50:04Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Variational Inference for Scalable 3D Object-centric Learning [19.445804699433353]
  我々は3Dシーンにおける拡張性のないオブジェクト中心表現学習の課題に取り組む。 オブジェクト中心表現学習への既存のアプローチは、より大きなシーンに一般化する際の限界を示している。 局所オブジェクト座標系におけるビュー不変3次元オブジェクト表現の学習を提案する。
  論文  参考訳（メタデータ） (2023-09-25T10:23:40Z)
• Spotlight Attention: Robust Object-Centric Learning With a Spatial Locality Prior [88.9319150230121]
  オブジェクト中心のビジョンは、シーン内のオブジェクトの明示的な表現を構築することを目的としています。 我々は、空間的局所性を最先端のオブジェクト中心視覚モデルに組み込む。 合成および実世界の両方のデータセットにおけるセグメンテーションオブジェクトの大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-05-31T04:35:50Z)
• Object Scene Representation Transformer [56.40544849442227]
  オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。 OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。 光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
  論文  参考訳（メタデータ） (2022-06-14T15:40:47Z)
• Unsupervised Discovery and Composition of Object Light Fields [57.198174741004095]
  オブジェクト中心の合成シーン表現において、オブジェクトを光場として表現することを提案する。 オブジェクト中心の光場から大域的な光場を再構成できる新しい光場合成モジュールを提案する。
  論文  参考訳（メタデータ） (2022-05-08T17:50:35Z)
• Object-Centric Learning with Slot Attention [43.684193749891506]
  我々は、知覚表現と相互作用するアーキテクチャコンポーネントであるSlot Attentionモジュールを提示する。 Slot Attentionは、スロットと呼ばれるタスク依存の抽象表現を生成します。 Slot Attentionがオブジェクト中心の表現を抽出し、未知の合成を一般化できることを実証的に実証する。
  論文  参考訳（メタデータ） (2020-06-26T15:31:57Z)
• Joint Supervised and Self-Supervised Learning for 3D Real-World Challenges [16.328866317851187]
  ポイントクラウド処理と3D形状理解は、ディープラーニング技術が大きな可能性を実証する難しいタスクである。 ここでは、データ不足と大きなドメインギャップにより教師付き学習が失敗する合成および実世界の点雲を含むいくつかのシナリオについて考察する。 形状分類や部分分割の主課題を学習しながら3次元パズルを解くマルチタスクモデルにより、自己超越を利用して、標準的な特徴表現を豊かにすることを提案する。
  論文  参考訳（メタデータ） (2020-04-15T23:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。