論文の概要: Deep Learning on Object-centric 3D Neural Fields

• arxiv url: http://arxiv.org/abs/2312.13277v2
• Date: Mon, 15 Jul 2024 16:13:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 02:24:41.177854
• Title: Deep Learning on Object-centric 3D Neural Fields
• Title（参考訳）: 物体中心の3次元ニューラルネットワークの深層学習
• Authors: Pierluigi Zama Ramirez, Luca De Luigi, Daniele Sirocchi, Adriano Cardace, Riccardo Spezialetti, Francesco Ballerini, Samuele Salti, Luigi Di Stefano,
• Abstract要約: 単一推論パスにおいて入力NFに対してコンパクトな潜在表現を生成可能なフレームワークであるnf2vecを導入する。 nf2vecは入力されたNFで表される3Dオブジェクトを効果的に埋め込み、その結果の埋め込みがディープラーニングパイプラインにどのように使われるかを示す。
• 参考スコア（独自算出の注目度）: 19.781070751341154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, Neural Fields (NFs) have emerged as an effective tool for encoding diverse continuous signals such as images, videos, audio, and 3D shapes. When applied to 3D data, NFs offer a solution to the fragmentation and limitations associated with prevalent discrete representations. However, given that NFs are essentially neural networks, it remains unclear whether and how they can be seamlessly integrated into deep learning pipelines for solving downstream tasks. This paper addresses this research problem and introduces nf2vec, a framework capable of generating a compact latent representation for an input NF in a single inference pass. We demonstrate that nf2vec effectively embeds 3D objects represented by the input NFs and showcase how the resulting embeddings can be employed in deep learning pipelines to successfully address various tasks, all while processing exclusively NFs. We test this framework on several NFs used to represent 3D surfaces, such as unsigned/signed distance and occupancy fields. Moreover, we demonstrate the effectiveness of our approach with more complex NFs that encompass both geometry and appearance of 3D objects such as neural radiance fields.
• Abstract（参考訳）: 近年、ニューラルフィールド(NF)は、画像、ビデオ、オーディオ、三次元形状などの多様な連続的な信号を符号化する有効なツールとして出現している。 3Dデータに適用すると、NFは離散表現に付随する断片化と制限に対する解決策を提供する。 しかし、NFが本質的にニューラルネットワークであることを考えると、下流タスクを解決するためにディープラーニングパイプラインにシームレスに統合できるかどうか、またどのようにしてできるのかは不明だ。 本稿では、この研究課題に対処し、単一の推論パスで入力NFに対してコンパクトな潜在表現を生成可能なフレームワークであるnf2vecを紹介する。 我々は,nf2vecが入力されたNFで表される3Dオブジェクトを効果的に埋め込むことを示した。 このフレームワークは、符号なし/符号なし距離や占有場などの3次元表面を表すために使用される複数のNF上でテストする。 さらに,ニューラルネットワークなどの3次元物体の形状と外観を包含する,より複雑なNFを用いたアプローチの有効性を示す。

関連論文リスト

• Reg-NF: Efficient Registration of Implicit Surfaces within Neural Fields [6.949522577812908]
  本稿では2つの任意のニューラルネットワーク間の相対的な6-DoF変換を最適化するReg-NFについて述べる。 Reg-NFの主な構成要素は、双方向の登録損失、多視点表面サンプリング、および体積符号距離関数の利用である。
  論文  参考訳（メタデータ） (2024-02-15T05:31:03Z)
• Zero-Level-Set Encoder for Neural Distance Fields [10.269224726391807]
  本稿では,1つの前方パスに3次元形状を埋め込む新しいエンコーダデコーダニューラルネットワークを提案する。 ネットワークはアイコン方程式を解くために訓練されており、訓練と推論のためにゼロレベル集合の知識しか必要としない。
  論文  参考訳（メタデータ） (2023-10-10T14:07:37Z)
• Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
  我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。 我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T09:08:46Z)
• Deep Learning on Implicit Neural Representations of Shapes [14.596732196310978]
  Inlicit Neural Representations (INR) は、様々な信号を継続的にエンコードする強力なツールとして登場した。 本稿では,入力INRに対して,単一の推論パスでコンパクトな潜在表現を計算可能なフレームワークであるinr2vecを提案する。 Inr2vecは入力INRによって表現される3次元形状を効果的に埋め込み、どのようにして生成された埋め込みをディープラーニングパイプラインに供給できるかを示す。
  論文  参考訳（メタデータ） (2023-02-10T18:55:49Z)
• Polynomial Neural Fields for Subband Decomposition and Manipulation [78.2401411189246]
  我々はニューラルフィールド(PNF)と呼ばれる新しい種類のニューラルフィールドを提案する。 PNFの鍵となる利点は、信号がニューラルネットワークの利点を失うことなく、操作可能なコンポーネントと解釈可能なコンポーネントの合成として表現できることである。 本研究では,Fourier PNFがテクスチャ転送やスケール空間といった信号操作の応用を可能にすることを実証的に示す。
  論文  参考訳（メタデータ） (2023-02-09T18:59:04Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Correspondence Distillation from NeRF-based GAN [135.99756183251228]
  神経放射野(NeRF)は、物体やシーンの微細な詳細を保存するための有望な結果を示している。 同じカテゴリの異なるNeRFをまたいで密度の高い対応を構築することは、依然として未解決の問題である。 トレーニング済みのNeRFベースGANにカプセル化されているリッチなセマンティクスと構造的先行性を活用することで,これらの課題を回避可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-19T18:54:59Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations [92.88108411154255]
  本稿では,3次元シーンとして再構成可能な複数画像の解析に後者を適用する際に,高密度な2次元画像特徴抽出器を改善する手法を提案する。 本手法は,手動ラベルを使わずに,シーン固有のニューラルネットワークの文脈における意味理解を可能にするだけでなく,自己監督型2Dベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2022-09-07T23:24:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。