論文の概要: LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation

• arxiv url: http://arxiv.org/abs/2409.06703v1
• Date: Tue, 10 Sep 2024 17:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 16:23:35.040484
• Title: LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation
• Title（参考訳）: LEIA : 難治性3次元関節症に対する潜時視差不変インプラント
• Authors: Archana Swaminathan, Anubhav Gupta, Kamal Gupta, Shishira R. Maiya, Vatsal Agarwal, Abhinav Shrivastava,
• Abstract要約: 動的3Dオブジェクトを表現するための新しいアプローチであるLEIAを紹介する。 我々の手法は、オブジェクトを異なる時間ステップまたは「状態」で観察し、現在の状態にハイパーネットワークを条件付けることである。 これらの状態の補間により、以前は見えなかった3次元空間に新しい調音構成を生成することができる。
• 参考スコア（独自算出の注目度）: 32.27869897947267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Fields (NeRFs) have revolutionized the reconstruction of static scenes and objects in 3D, offering unprecedented quality. However, extending NeRFs to model dynamic objects or object articulations remains a challenging problem. Previous works have tackled this issue by focusing on part-level reconstruction and motion estimation for objects, but they often rely on heuristics regarding the number of moving parts or object categories, which can limit their practical use. In this work, we introduce LEIA, a novel approach for representing dynamic 3D objects. Our method involves observing the object at distinct time steps or "states" and conditioning a hypernetwork on the current state, using this to parameterize our NeRF. This approach allows us to learn a view-invariant latent representation for each state. We further demonstrate that by interpolating between these states, we can generate novel articulation configurations in 3D space that were previously unseen. Our experimental results highlight the effectiveness of our method in articulating objects in a manner that is independent of the viewing angle and joint configuration. Notably, our approach outperforms previous methods that rely on motion information for articulation registration.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は静的なシーンや物体を3Dで再現し、前例のない品質を実現している。 しかし、動的オブジェクトやオブジェクトの関節をモデル化するためにNeRFを拡張することは、依然として難しい問題である。 従来の研究は、対象物の部分レベルの再構築と運動推定に焦点をあててこの問題に対処してきたが、それらはしばしば、その実用性を制限できる可動部や対象カテゴリーの数に関するヒューリスティックに頼っている。 本研究では,動的3次元オブジェクトを表現する新しいアプローチであるLEIAを紹介する。 提案手法では,物体を異なる時間ステップあるいは「状態」で観察し,現在の状態にハイパーネットワークを条件付け,この手法を用いてNeRFのパラメータ化を行う。 このアプローチにより、各状態に対するビュー不変の潜在表現を学習することができる。 さらに、これらの状態間の補間により、以前は見えなかった3次元空間に新しい調音構成を生成できることを実証する。 実験結果は,視角や関節構成に依存しない方法で物体を調音する手法の有効性を強調した。 特に,本手法は,調音登録のための動作情報に依存する従来の手法よりも優れていた。

関連論文リスト

• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Degrees of Freedom Matter: Inferring Dynamics from Point Trajectories [28.701879490459675]
  ニューラルネットワークによってパラメータ化された暗黙の運動場を学習し、同一領域内の新規点の動きを予測することを目的とする。 我々は、SIRENが提供する固有正則化を活用し、入力層を変更して時間的に滑らかな運動場を生成する。 実験では, 未知点軌道の予測におけるモデルの性能評価と, 変形を伴う時間メッシュアライメントへの応用について検討した。
  論文  参考訳（メタデータ） (2024-06-05T21:02:10Z)
• REACTO: Reconstructing Articulated Objects from a Single Video [64.89760223391573]
  関節の柔軟な変形を維持しつつ各部の剛性を向上する新しい変形モデルを提案する。 提案手法は, 従来よりも高忠実度な3D再構成を実現する上で, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-17T08:01:55Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• NAP: Neural 3D Articulation Prior [31.875925637190328]
  本研究では,3次元合成対象モデルを合成する最初の3次元深部生成モデルであるNeural 3D Articulation Prior (NAP)を提案する。 そこで我々はまず,新しい調音木/グラフパラメタライゼーションを設計し,この表現に対して拡散減衰確率モデルを適用した。 分布が互いに影響を及ぼすような幾何構造と運動構造の両方を捉えるために,逆拡散過程を学習するためのグラフアテンション認知ネットワークを設計する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:35Z)
• Class-agnostic Reconstruction of Dynamic Objects from Videos [127.41336060616214]
  動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。 我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。 第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
  論文  参考訳（メタデータ） (2021-12-03T18:57:47Z)
• Object Wake-up: 3-D Object Reconstruction, Animation, and in-situ Rendering from a Single Image [58.69732754597448]
  椅子の写真があれば、椅子の3次元形状を抽出し、その可愛らしい調音や動きをアニメーション化し、元の画像空間でその場でレンダリングできるだろうか? 単一画像中の調音対象を抽出・操作するための自動アプローチを考案する。
  論文  参考訳（メタデータ） (2021-08-05T16:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。