論文の概要: Uni-Fusion: Universal Continuous Mapping
- arxiv url: http://arxiv.org/abs/2303.12678v2
- Date: Thu, 3 Aug 2023 12:49:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 17:08:02.875977
- Title: Uni-Fusion: Universal Continuous Mapping
- Title(参考訳): Uni-Fusion: ユニバーサルな継続的マッピング
- Authors: Yijun Yuan, Andreas Nuechter
- Abstract要約: 曲面や表面特性(色、赤外など)の普遍的連続写像フレームワークであるUni-Fusionを提案する。
本稿では、幾何学と異なるタイプの特性の符号化をサポートする最初の普遍的暗黙符号化モデルを提案する。
1) 表面と色をインクリメンタルに再構成する(2) 加工された特性の2D-to-3D変換を行う(3) 表面上のテキストCLIP特徴体を作成することにより、オープン語彙のシーン理解を行う。
- 参考スコア(独自算出の注目度): 0.76146285961466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Uni-Fusion, a universal continuous mapping framework for surfaces,
surface properties (color, infrared, etc.) and more (latent features in CLIP
embedding space, etc.). We propose the first universal implicit encoding model
that supports encoding of both geometry and different types of properties (RGB,
infrared, features, etc.) without requiring any training. Based on this, our
framework divides the point cloud into regular grid voxels and generates a
latent feature in each voxel to form a Latent Implicit Map (LIM) for geometries
and arbitrary properties. Then, by fusing a local LIM frame-wisely into a
global LIM, an incremental reconstruction is achieved. Encoded with
corresponding types of data, our Latent Implicit Map is capable of generating
continuous surfaces, surface property fields, surface feature fields, and all
other possible options. To demonstrate the capabilities of our model, we
implement three applications: (1) incremental reconstruction for surfaces and
color (2) 2D-to-3D transfer of fabricated properties (3) open-vocabulary scene
understanding by creating a text CLIP feature field on surfaces. We evaluate
Uni-Fusion by comparing it in corresponding applications, from which Uni-Fusion
shows high-flexibility in various applications while performing best or being
competitive. The project page of Uni-Fusion is available at
https://jarrome.github.io/Uni-Fusion/ .
- Abstract(参考訳): 本稿では,表面の普遍的な連続マッピングフレームワークであるuni-fusionと,表面特性(色,赤外線など)など(クリップ埋め込み空間の相対的特徴など)について述べる。
本稿では,幾何と異なる特性(rgb,赤外線,特徴など)のエンコーディングをトレーニングを必要とせずにサポートする,最初の普遍的暗黙的符号化モデルを提案する。
これに基づいて,本フレームワークは点雲を正規格子ボクセルに分割し,各ボクセルに潜時特徴を生成し,測地および任意特性のための潜時インプリシットマップ(LIM)を作成する。
そして、局所的なLIMをグローバルなLIMにフレームワイズすることで、漸進的な再構成を実現する。
対応するタイプのデータをエンコードして、Latent Implicit Mapは、連続した表面、表面特性フィールド、表面特徴フィールド、その他のあらゆるオプションを生成することができます。
1) 表面と色をインクリメンタルに再構成する(2) 作製された特性の2D-to-3D変換を行う(3) テキストCLIP機能フィールドを表面上に作成することで、オープン語彙のシーン理解を実現する。
我々は、UniFusionを対応するアプリケーションで比較することで評価し、UniFusionは様々なアプリケーションで高い柔軟性を示しながら、最高の性能や競争力を発揮する。
Uni-Fusionのプロジェクトページはhttps://jarrome.github.io/Uni-Fusion/ で公開されている。
関連論文リスト
- Sur2f: A Hybrid Representation for High-Quality and Efficient Surface
Reconstruction from Multi-view Images [41.81291587750352]
マルチビュー表面再構成は、3次元視覚研究において不適切な逆問題である。
既存の手法のほとんどは、暗黙のメッシュや暗黙のフィールド関数に依存しており、復元のためにフィールドのボリュームレンダリングを使用している。
相補的な方法で両表現の利点を向上することを目的としたハイブリッド表現(Sur2f)を提案する。
論文 参考訳(メタデータ) (2024-01-08T07:22:59Z) - Surf-D: Generating High-Quality Surfaces of Arbitrary Topologies Using Diffusion Models [83.35835521670955]
Surf-Dは任意の位相を持つ表面として高品質な3次元形状を生成する新しい方法である。
非符号距離場(UDF)を曲面表現として用いて任意の位相を許容する。
また、ポイントベースのAutoEncoderを用いて、UDFを正確に符号化するためのコンパクトで連続的な潜在空間を学習する新しいパイプラインを提案する。
論文 参考訳(メタデータ) (2023-11-28T18:56:01Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳(メタデータ) (2023-10-20T19:15:29Z) - MMF-Track: Multi-modal Multi-level Fusion for 3D Single Object Tracking [26.405519771454102]
3Dオブジェクト追跡はコンピュータビジョンにおいて重要な役割を果たす。
本稿では,3次元目標追跡のための点雲の画像テクスチャと形状特性を利用するマルチモーダルマルチレベルフュージョントラッカー(MMF-Track)を提案する。
実験により,本手法はKITTIの最先端性能(39%成功,42%精度向上)を達成し,NuScenesと競合することを示した。
論文 参考訳(メタデータ) (2023-05-11T13:34:02Z) - NeuralUDF: Learning Unsigned Distance Fields for Multi-view
Reconstruction of Surfaces with Arbitrary Topologies [87.06532943371575]
本稿では2次元画像からボリュームレンダリングにより任意の位相で表面を再構成する新しい手法であるNeuralUDFを提案する。
本稿では,表面をUDF(Unsigned Distance Function)として表現し,ニューラルUDF表現を学習するための新しいボリュームレンダリング手法を提案する。
論文 参考訳(メタデータ) (2022-11-25T15:21:45Z) - RangeUDF: Semantic Surface Reconstruction from 3D Point Clouds [106.54285912111888]
本研究では,新たな暗黙的表現に基づくフレームワークであるRangeUDFを紹介し,点雲から連続した3次元シーン表面の形状と意味を復元する。
RangeUDFは4点のクラウドデータセット上で表面再構成を行うための最先端のアプローチを明らかに上回っている。
論文 参考訳(メタデータ) (2022-04-19T21:39:45Z) - GIFS: Neural Implicit Function for General Shape Representation [23.91110763447458]
3次元形状の一般インプリシット関数 (GIFS) は, 一般形状を表す新しい手法である。
3D空間を事前に定義された内側の領域に分割する代わりに、GIFSは2つの点が任意の表面で分離されているかどうかを符号化する。
ShapeNetの実験では、GIFSは再現性、レンダリング効率、視覚的忠実度の観点から、従来の最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2022-04-14T17:29:20Z) - Gradient-SDF: A Semi-Implicit Surface Representation for 3D
Reconstruction [53.315347543761426]
Gradient-SDFは、暗黙的表現と明示的表現の利点を組み合わせた3次元幾何学の新しい表現である。
すべてのボクセルに符号付き距離場とその勾配ベクトル場を格納することにより、暗黙表現の能力を高める。
本研究では,(1)グラディエント・SDFは,ハッシュマップなどの効率的な記憶方式を用いて,深度画像からの直接SDF追跡を行うことができ,(2)グラディエント・SDF表現はボクセル表現で直接光度バンドル調整を行うことができることを示す。
論文 参考訳(メタデータ) (2021-11-26T18:33:14Z) - Generative Occupancy Fields for 3D Surface-Aware Image Synthesis [123.11969582055382]
GOF(Generative Occupancy Fields)は、生成放射場に基づく新しいモデルである。
GOFは高品質な画像を3D整合性で合成し、コンパクトで滑らかな物体表面を同時に学習することができる。
論文 参考訳(メタデータ) (2021-11-01T14:20:43Z) - 2D-3D Geometric Fusion Network using Multi-Neighbourhood Graph
Convolution for RGB-D Indoor Scene Classification [0.8629912408966145]
本稿では,3次元幾何特徴と2次元テクスチャ特徴を組み合わせた2次元3次元フュージョンステージを提案する。
実験の結果、NYU-Depth-V2とSUN RGB-Dデータセットを用いて、RGB-D屋内シーン分類作業において、提案手法が現在の最先端技術よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-09-23T13:58:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。