論文の概要: Uni-Fusion: Universal Continuous Mapping
- arxiv url: http://arxiv.org/abs/2303.12678v1
- Date: Wed, 22 Mar 2023 16:21:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-23 13:39:20.199903
- Title: Uni-Fusion: Universal Continuous Mapping
- Title(参考訳): Uni-Fusion: ユニバーサルな継続的マッピング
- Authors: Yijun Yuan, Andreas Nuechter
- Abstract要約: 曲面や表面特性(色、赤外など)の普遍的連続写像フレームワークであるUni-Fusionを紹介する。
本稿では,幾何学的および多種多様な特性の符号化をサポートする最初のユニバーサルインプリシット・リサイトモデルを提案する。
1) 表面と色をインクリメンタルに再構成する (2) 2D-to-3D で作製した特性転送 (3) 表面上のテキストCLIP特徴場を生成してオープン語彙のシーン理解を行う。
- 参考スコア(独自算出の注目度): 0.76146285961466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Uni-Fusion, an universal continuous mapping framework for
surfaces, surface properties (color, infrared, etc.) and more (latent features
in CLIP embedding space, etc.). We propose the first Universal Implicit
Encoding model that supports encoding of both geometry and various types of
properties (RGB, infrared, feature and etc.) without the need for any training.
Based on that, our framework divides the point cloud into regular grid voxels
and produces a latent feature in each voxel to form a Latent Implicit Map (LIM)
for geometries and arbitrary properties. Then, by fusing a Local LIM of new
frame to Global LIM, an incremental reconstruction is approached. Encoded with
corresponding types of data, our Latent Implicit Map is capable to generate
continuous surfaces, surface properties fields, surface feature fields and any
other possible options. To demonstrate the capabilities of our model, we
implement three applications: (1) incremental reconstruction for surfaces and
color (2) 2D-to-3D fabricated properties transfers (3) open-vocabulary scene
understanding by producing a text CLIP feature field on surfaces. We evaluate
Uni-Fusion by comparing in corresponding applications, from which, Uni-Fusion
shows high flexibility to various of application while performing best or
competitive. The project page of Uni-Fusion is available at
https://jarrome.github.io/Uni-Fusion/
- Abstract(参考訳): 表面、表面特性(色、赤外など)、その他(CLIP埋め込み空間における最新の特徴など)のための普遍的な連続マッピングフレームワークであるUni-Fusionを紹介する。
本稿では,幾何および様々な特性(rgb,赤外線,特徴など)のエンコーディングをトレーニングを必要とせずにサポートする,初の普遍的暗黙的符号化モデルを提案する。
これに基づいて,本フレームワークは点雲を正規格子ボクセルに分割し,各ボクセルに潜時特徴を発生させ,ジオメトリと任意特性のための潜時インプリシットマップ(LIM)を形成する。
次に、Global LIMに新しいフレームのローカルLIMを融合させることで、漸進的な再構成を行う。
対応するデータ型でエンコードされた潜在暗黙マップは、連続的な表面、表面特性フィールド、表面特徴フィールド、その他の可能なオプションを生成することができる。
1) 表面と色をインクリメンタルに再構成する(2) 2D-to-3D 製造された特性伝達 (3) テキストCLIP特徴体を表面上で生成することにより、オープン語彙のシーン理解を実現する。
我々は, 適合するアプリケーションを比較することで, ユニフュージョンの評価を行い, ベストや競争力を保ちながら, 様々なアプリケーションに対して高い柔軟性を示す。
Uni-Fusionのプロジェクトページはhttps://jarrome.github.io/Uni-Fusion/で公開されている。
関連論文リスト
- Sur2f: A Hybrid Representation for High-Quality and Efficient Surface
Reconstruction from Multi-view Images [41.81291587750352]
マルチビュー表面再構成は、3次元視覚研究において不適切な逆問題である。
既存の手法のほとんどは、暗黙のメッシュや暗黙のフィールド関数に依存しており、復元のためにフィールドのボリュームレンダリングを使用している。
相補的な方法で両表現の利点を向上することを目的としたハイブリッド表現(Sur2f)を提案する。
論文 参考訳(メタデータ) (2024-01-08T07:22:59Z) - Surf-D: Generating High-Quality Surfaces of Arbitrary Topologies Using Diffusion Models [83.35835521670955]
Surf-Dは任意の位相を持つ表面として高品質な3次元形状を生成する新しい方法である。
非符号距離場(UDF)を曲面表現として用いて任意の位相を許容する。
また、ポイントベースのAutoEncoderを用いて、UDFを正確に符号化するためのコンパクトで連続的な潜在空間を学習する新しいパイプラインを提案する。
論文 参考訳(メタデータ) (2023-11-28T18:56:01Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳(メタデータ) (2023-10-20T19:15:29Z) - MMF-Track: Multi-modal Multi-level Fusion for 3D Single Object Tracking [26.405519771454102]
3Dオブジェクト追跡はコンピュータビジョンにおいて重要な役割を果たす。
本稿では,3次元目標追跡のための点雲の画像テクスチャと形状特性を利用するマルチモーダルマルチレベルフュージョントラッカー(MMF-Track)を提案する。
実験により,本手法はKITTIの最先端性能(39%成功,42%精度向上)を達成し,NuScenesと競合することを示した。
論文 参考訳(メタデータ) (2023-05-11T13:34:02Z) - NeuralUDF: Learning Unsigned Distance Fields for Multi-view
Reconstruction of Surfaces with Arbitrary Topologies [87.06532943371575]
本稿では2次元画像からボリュームレンダリングにより任意の位相で表面を再構成する新しい手法であるNeuralUDFを提案する。
本稿では,表面をUDF(Unsigned Distance Function)として表現し,ニューラルUDF表現を学習するための新しいボリュームレンダリング手法を提案する。
論文 参考訳(メタデータ) (2022-11-25T15:21:45Z) - RangeUDF: Semantic Surface Reconstruction from 3D Point Clouds [106.54285912111888]
本研究では,新たな暗黙的表現に基づくフレームワークであるRangeUDFを紹介し,点雲から連続した3次元シーン表面の形状と意味を復元する。
RangeUDFは4点のクラウドデータセット上で表面再構成を行うための最先端のアプローチを明らかに上回っている。
論文 参考訳(メタデータ) (2022-04-19T21:39:45Z) - GIFS: Neural Implicit Function for General Shape Representation [23.91110763447458]
3次元形状の一般インプリシット関数 (GIFS) は, 一般形状を表す新しい手法である。
3D空間を事前に定義された内側の領域に分割する代わりに、GIFSは2つの点が任意の表面で分離されているかどうかを符号化する。
ShapeNetの実験では、GIFSは再現性、レンダリング効率、視覚的忠実度の観点から、従来の最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2022-04-14T17:29:20Z) - Gradient-SDF: A Semi-Implicit Surface Representation for 3D
Reconstruction [53.315347543761426]
Gradient-SDFは、暗黙的表現と明示的表現の利点を組み合わせた3次元幾何学の新しい表現である。
すべてのボクセルに符号付き距離場とその勾配ベクトル場を格納することにより、暗黙表現の能力を高める。
本研究では,(1)グラディエント・SDFは,ハッシュマップなどの効率的な記憶方式を用いて,深度画像からの直接SDF追跡を行うことができ,(2)グラディエント・SDF表現はボクセル表現で直接光度バンドル調整を行うことができることを示す。
論文 参考訳(メタデータ) (2021-11-26T18:33:14Z) - Generative Occupancy Fields for 3D Surface-Aware Image Synthesis [123.11969582055382]
GOF(Generative Occupancy Fields)は、生成放射場に基づく新しいモデルである。
GOFは高品質な画像を3D整合性で合成し、コンパクトで滑らかな物体表面を同時に学習することができる。
論文 参考訳(メタデータ) (2021-11-01T14:20:43Z) - 2D-3D Geometric Fusion Network using Multi-Neighbourhood Graph
Convolution for RGB-D Indoor Scene Classification [0.8629912408966145]
本稿では,3次元幾何特徴と2次元テクスチャ特徴を組み合わせた2次元3次元フュージョンステージを提案する。
実験の結果、NYU-Depth-V2とSUN RGB-Dデータセットを用いて、RGB-D屋内シーン分類作業において、提案手法が現在の最先端技術よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-09-23T13:58:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。