論文の概要: Skel3D: Skeleton Guided Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2412.03407v1
• Date: Wed, 04 Dec 2024 15:45:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:01.375171
• Title: Skel3D: Skeleton Guided Novel View Synthesis
• Title（参考訳）: Skel3D:Skeletonによる新しいビュー・シンセサイザー
• Authors: Aron Fóthi, Bence Fazekas, Natabara Máté Gyöngyössy, Kristian Fenech,
• Abstract要約: 本研究では,モノクルなオープンセット・ノベルビュー(NVS)に対するアプローチを提案する。 提案手法は,3次元表現に頼らずに,既存の最先端NVS技術よりも定量的かつ質的に優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, we present an approach for monocular open-set novel view synthesis (NVS) that leverages object skeletons to guide the underlying diffusion model. Building upon a baseline that utilizes a pre-trained 2D image generator, our method takes advantage of the Objaverse dataset, which includes animated objects with bone structures. By introducing a skeleton guide layer following the existing ray conditioning normalization (RCN) layer, our approach enhances pose accuracy and multi-view consistency. The skeleton guide layer provides detailed structural information for the generative model, improving the quality of synthesized views. Experimental results demonstrate that our skeleton-guided method significantly enhances consistency and accuracy across diverse object categories within the Objaverse dataset. Our method outperforms existing state-of-the-art NVS techniques both quantitatively and qualitatively, without relying on explicit 3D representations.
• Abstract（参考訳）: 本稿では,モノクルなオープンセット・ノウ・ビュー・シンセサイザー (NVS) へのアプローチを提案する。 事前に訓練した2次元画像生成装置をベースラインとして構築し,骨構造を持つアニメーションオブジェクトを含むObjaverseデータセットを活用する。 既存のレイコンディショニング正規化(RCN)層に続き,スケルトンガイド層を導入することにより,ポーズ精度とマルチビュー一貫性が向上する。 スケルトンガイド層は、生成モデルの詳細な構造情報を提供し、合成ビューの品質を向上させる。 実験結果から,本手法はObjaverseデータセット内の多種多様な対象カテゴリ間の一貫性と精度を著しく向上することが示された。 提案手法は,3次元表現に頼らずに,既存の最先端NVS技術よりも定量的かつ質的に優れている。

関連論文リスト

• DreamPolish: Domain Score Distillation With Progressive Geometry Generation [66.94803919328815]
  本稿では,高精細な幾何学と高品質なテクスチャの創出に優れたテキスト・ツー・3D生成モデルであるDreamPolishを紹介する。 幾何構成フェーズでは, 合成過程の安定性を高めるために, 複数のニューラル表現を利用する。 テクスチャ生成フェーズでは、そのような領域に向けて神経表現を導くために、新しいスコア蒸留、すなわちドメインスコア蒸留(DSD)を導入する。
  論文  参考訳（メタデータ） (2024-11-03T15:15:01Z)
• Part-aware Shape Generation with Latent 3D Diffusion of Neural Voxel Fields [50.12118098874321]
  ニューラルボクセル場に対する潜在3次元拡散過程を導入し,高分解能で生成を可能にする。 部分符号を神経ボクセル場に統合し、正確な部分分解を導出するために、部分認識形状復号器を導入する。 その結果,既存の最先端手法よりも優れた部品認識形状生成において,提案手法の優れた生成能力を示した。
  論文  参考訳（メタデータ） (2024-05-02T04:31:17Z)
• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
  単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。 提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。 新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
  論文  参考訳（メタデータ） (2023-04-05T17:15:47Z)
• Dynamical Deep Generative Latent Modeling of 3D Skeletal Motion [15.359134407309726]
  本モデルでは,高度に相関した骨格データを時間的変化の空間的基礎の集合に分解する。 これにより、3次元ポーズデータのダイナミックスにおいて意味のある内在状態を解析する動的深部生成潜在モデルが得られる。
  論文  参考訳（メタデータ） (2021-06-18T23:58:49Z)
• Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action Recognition [57.98278794950759]
  グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。 本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。 提案手法を,現在最大規模の2つの3次元データセット上で評価する。
  論文  参考訳（メタデータ） (2020-07-30T18:23:18Z)
• What and Where: Modeling Skeletons from Semantic and Spatial Perspectives for Action Recognition [46.836815779215456]
  本研究では,新しい空間的視点から骨格をモデル化することを提案する。 意味論的観点から,共同関係のモデル化に熟練したトランスフォーマー型ネットワークを提案する。 空間的観点から,スケルトンデータをスパース形式に変換し,効率的な特徴抽出を行う。
  論文  参考訳（メタデータ） (2020-04-07T10:53:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。