論文の概要: Uni-Fusion: Universal Continuous Mapping

• arxiv url: http://arxiv.org/abs/2303.12678v2
• Date: Thu, 3 Aug 2023 12:49:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 17:08:02.875977
• Title: Uni-Fusion: Universal Continuous Mapping
• Title（参考訳）: Uni-Fusion: ユニバーサルな継続的マッピング
• Authors: Yijun Yuan, Andreas Nuechter
• Abstract要約: 曲面や表面特性(色、赤外など)の普遍的連続写像フレームワークであるUni-Fusionを提案する。 本稿では、幾何学と異なるタイプの特性の符号化をサポートする最初の普遍的暗黙符号化モデルを提案する。 1) 表面と色をインクリメンタルに再構成する(2) 加工された特性の2D-to-3D変換を行う(3) 表面上のテキストCLIP特徴体を作成することにより、オープン語彙のシーン理解を行う。
• 参考スコア（独自算出の注目度）: 0.76146285961466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Uni-Fusion, a universal continuous mapping framework for surfaces, surface properties (color, infrared, etc.) and more (latent features in CLIP embedding space, etc.). We propose the first universal implicit encoding model that supports encoding of both geometry and different types of properties (RGB, infrared, features, etc.) without requiring any training. Based on this, our framework divides the point cloud into regular grid voxels and generates a latent feature in each voxel to form a Latent Implicit Map (LIM) for geometries and arbitrary properties. Then, by fusing a local LIM frame-wisely into a global LIM, an incremental reconstruction is achieved. Encoded with corresponding types of data, our Latent Implicit Map is capable of generating continuous surfaces, surface property fields, surface feature fields, and all other possible options. To demonstrate the capabilities of our model, we implement three applications: (1) incremental reconstruction for surfaces and color (2) 2D-to-3D transfer of fabricated properties (3) open-vocabulary scene understanding by creating a text CLIP feature field on surfaces. We evaluate Uni-Fusion by comparing it in corresponding applications, from which Uni-Fusion shows high-flexibility in various applications while performing best or being competitive. The project page of Uni-Fusion is available at https://jarrome.github.io/Uni-Fusion/ .
• Abstract（参考訳）: 本稿では,表面の普遍的な連続マッピングフレームワークであるuni-fusionと,表面特性(色,赤外線など)など(クリップ埋め込み空間の相対的特徴など)について述べる。 本稿では,幾何と異なる特性(rgb,赤外線,特徴など)のエンコーディングをトレーニングを必要とせずにサポートする,最初の普遍的暗黙的符号化モデルを提案する。 これに基づいて,本フレームワークは点雲を正規格子ボクセルに分割し,各ボクセルに潜時特徴を生成し,測地および任意特性のための潜時インプリシットマップ(LIM)を作成する。 そして、局所的なLIMをグローバルなLIMにフレームワイズすることで、漸進的な再構成を実現する。 対応するタイプのデータをエンコードして、Latent Implicit Mapは、連続した表面、表面特性フィールド、表面特徴フィールド、その他のあらゆるオプションを生成することができます。 1) 表面と色をインクリメンタルに再構成する(2) 作製された特性の2D-to-3D変換を行う(3) テキストCLIP機能フィールドを表面上に作成することで、オープン語彙のシーン理解を実現する。 我々は、UniFusionを対応するアプリケーションで比較することで評価し、UniFusionは様々なアプリケーションで高い柔軟性を示しながら、最高の性能や競争力を発揮する。 Uni-Fusionのプロジェクトページはhttps://jarrome.github.io/Uni-Fusion/ で公開されている。

関連論文リスト

• GaussianAnything: Interactive Point Cloud Latent Diffusion for 3D Generation [75.39457097832113]
  本稿では,インタラクティブなポイントクラウド構造ラテント空間を備えたスケーラブルで高品質な3D生成を実現する,新しい3D生成フレームワークを提案する。 本フレームワークでは,複数ビューのRGB-D(epth)-N(ormal)レンダリングを入力として使用する変分オートエンコーダを,3次元形状情報を保存する独自のラテント空間設計を用いて構成する。 提案手法であるGaussianAnythingは,複数モード条件付き3D生成をサポートし,ポイントクラウド,キャプション,シングル/マルチビュー画像入力を可能にする。
  論文  参考訳（メタデータ） (2024-11-12T18:59:32Z)
• OctFusion: Octree-based Diffusion Models for 3D Shape Generation [19.944789186191763]
  OctFusionは1台のNvidia 4090 GPUで2.5秒で任意の解像度で3D形状を生成することができる。 OctFusionは、テクスチャメッシュ生成のための高品質なカラーフィールドと、テキストプロンプト、スケッチ、またはカテゴリラベル上の高品質な3D条件付き形状を生成することで、拡張可能で柔軟性がある。
  論文  参考訳（メタデータ） (2024-08-27T01:55:40Z)
• Flatten Anything: Unsupervised Neural Surface Parameterization [76.4422287292541]
  本研究では,FAM(Flatten Anything Model)を導入し,グローバルな自由境界面パラメータ化を実現する。 従来の手法と比較して,FAMは接続情報を活用することなく,個別の面上で直接動作する。 当社のFAMは前処理を必要とせずに完全に自動化されており,高度に複雑なトポロジを扱うことができる。
  論文  参考訳（メタデータ） (2024-05-23T14:39:52Z)
• Sur2f: A Hybrid Representation for High-Quality and Efficient Surface Reconstruction from Multi-view Images [41.81291587750352]
  マルチビュー表面再構成は、3次元視覚研究において不適切な逆問題である。 既存の手法のほとんどは、暗黙のメッシュや暗黙のフィールド関数に依存しており、復元のためにフィールドのボリュームレンダリングを使用している。 相補的な方法で両表現の利点を向上することを目的としたハイブリッド表現(Sur2f)を提案する。
  論文  参考訳（メタデータ） (2024-01-08T07:22:59Z)
• Ternary-Type Opacity and Hybrid Odometry for RGB NeRF-SLAM [58.736472371951955]
  表面を交差する光線上の点を3つの領域(前・前・後・後)に分類する3成分式不透明度モデルを導入する。 これにより、より正確な深度のレンダリングが可能となり、画像ワープ技術の性能が向上する。 TTとHOの統合アプローチは,合成および実世界のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-20T18:03:17Z)
• Surf-D: Generating High-Quality Surfaces of Arbitrary Topologies Using Diffusion Models [83.35835521670955]
  Surf-Dは任意の位相を持つ表面として高品質な3次元形状を生成する新しい方法である。 非符号距離場(UDF)を曲面表現として用いて任意の位相を許容する。 また、ポイントベースのAutoEncoderを用いて、UDFを正確に符号化するためのコンパクトで連続的な潜在空間を学習する新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-11-28T18:56:01Z)
• Composite Convolution: a Flexible Operator for Deep Learning on 3D Point Clouds [4.104847990024176]
  本稿では,3次元点雲を処理する既存の畳み込み演算子に代わる,柔軟で汎用的な複合層について紹介する。 ConvPointやKPConvのような主流のポイント・コンボリューション・レイヤと比較して、我々のコンポジット・レイヤはネットワーク設計の柔軟性を保証し、さらなる正規化の形式を提供します。 合成および実世界のデータセットを用いた実験により,分類,セグメンテーション,異常検出の両面で,当社のCompositeNetsは,同じシーケンシャルアーキテクチャを用いたConvPointより優れており,より深い残差アーキテクチャを持つKPConvと同じような結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T18:32:18Z)
• RangeUDF: Semantic Surface Reconstruction from 3D Point Clouds [106.54285912111888]
  本研究では,新たな暗黙的表現に基づくフレームワークであるRangeUDFを紹介し,点雲から連続した3次元シーン表面の形状と意味を復元する。 RangeUDFは4点のクラウドデータセット上で表面再構成を行うための最先端のアプローチを明らかに上回っている。
  論文  参考訳（メタデータ） (2022-04-19T21:39:45Z)
• GIFS: Neural Implicit Function for General Shape Representation [23.91110763447458]
  3次元形状の一般インプリシット関数 (GIFS) は, 一般形状を表す新しい手法である。 3D空間を事前に定義された内側の領域に分割する代わりに、GIFSは2つの点が任意の表面で分離されているかどうかを符号化する。 ShapeNetの実験では、GIFSは再現性、レンダリング効率、視覚的忠実度の観点から、従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-14T17:29:20Z)
• Gradient-SDF: A Semi-Implicit Surface Representation for 3D Reconstruction [53.315347543761426]
  Gradient-SDFは、暗黙的表現と明示的表現の利点を組み合わせた3次元幾何学の新しい表現である。 すべてのボクセルに符号付き距離場とその勾配ベクトル場を格納することにより、暗黙表現の能力を高める。 本研究では,(1)グラディエント・SDFは,ハッシュマップなどの効率的な記憶方式を用いて,深度画像からの直接SDF追跡を行うことができ,(2)グラディエント・SDF表現はボクセル表現で直接光度バンドル調整を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-11-26T18:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。