論文の概要: Self-supervised Neural Articulated Shape and Appearance Models

• arxiv url: http://arxiv.org/abs/2205.08525v1
• Date: Tue, 17 May 2022 17:50:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 13:55:56.516805
• Title: Self-supervised Neural Articulated Shape and Appearance Models
• Title（参考訳）: 自己教師型ニューラルアーティキュレート形状と外観モデル
• Authors: Fangyin Wei, Rohan Chabra, Lingni Ma, Christoph Lassner, Michael Zollh\"ofer, Szymon Rusinkiewicz, Chris Sweeney, Richard Newcombe, Mira Slavcheva
• Abstract要約: そこで本稿では, 物体の形状, 外観, 動きの表現を学習するための新しい手法を提案する。 我々の表現は、これらの意味的次元を独立的に制御できる形状、外観、調音符号を学習する。
• 参考スコア（独自算出の注目度）: 18.99030452836038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning geometry, motion, and appearance priors of object classes is important for the solution of a large variety of computer vision problems. While the majority of approaches has focused on static objects, dynamic objects, especially with controllable articulation, are less explored. We propose a novel approach for learning a representation of the geometry, appearance, and motion of a class of articulated objects given only a set of color images as input. In a self-supervised manner, our novel representation learns shape, appearance, and articulation codes that enable independent control of these semantic dimensions. Our model is trained end-to-end without requiring any articulation annotations. Experiments show that our approach performs well for different joint types, such as revolute and prismatic joints, as well as different combinations of these joints. Compared to state of the art that uses direct 3D supervision and does not output appearance, we recover more faithful geometry and appearance from 2D observations only. In addition, our representation enables a large variety of applications, such as few-shot reconstruction, the generation of novel articulations, and novel view-synthesis.
• Abstract（参考訳）: オブジェクトクラスの幾何学、運動、外観の事前学習は、様々なコンピュータビジョン問題の解法において重要である。 ほとんどのアプローチは静的オブジェクトに焦点を合わせているが、動的オブジェクト、特に制御可能な調音では、あまり探索されていない。 そこで本研究では,一組のカラー画像のみを入力として与えられた明瞭な物体の形状,外観,運動の表現を学習するための新しいアプローチを提案する。 自己監督的な方法で、我々の新しい表現は、これらの意味的次元を独立に制御できる形状、外観、調音符号を学習する。 私たちのモデルは、調音アノテーションを必要とせずにエンドツーエンドでトレーニングされています。 実験により, 関節の変形, 基部関節, 関節の異なる組み合わせなど, 各種の関節タイプに対して良好に機能することが確認された。 直接3次元観察技術を用いて外観を出力しない技術と比較して、より忠実な幾何学と外観を2次元観察からのみ回収する。 さらに,この表現は,少ないショットの再構成,新しい調音の生成,新しい視点合成など,多種多様な応用が可能となる。

関連論文リスト

• EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
  本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。 まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。 最初の再構築では、事前に誘導された最適化方式を採用する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:35Z)
• REACTO: Reconstructing Articulated Objects from a Single Video [64.89760223391573]
  関節の柔軟な変形を維持しつつ各部の剛性を向上する新しい変形モデルを提案する。 提案手法は, 従来よりも高忠実度な3D再構成を実現する上で, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-17T08:01:55Z)
• Learning Part Motion of Articulated Objects Using Spatially Continuous Neural Implicit Representations [8.130629735939895]
  本稿では, 部分面上の点の変換行列を予測することにより, 物体の運動を乱す新しい枠組みを提案する。 提案手法は, 変形行列が空間内における様々な関節運動をモデル化できるという点で, 様々な関節運動に対して汎用的である。
  論文  参考訳（メタデータ） (2023-11-21T07:54:40Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• AutoRF: Learning 3D Object Radiance Fields from Single View Observations [17.289819674602295]
  AutoRFは、トレーニングセットの各オブジェクトが単一のビューでのみ観察される、ニューラルな3Dオブジェクト表現を学ぶための新しいアプローチである。 提案手法は,現実の街路シーンに挑戦するさまざまなデータセットであっても,見えない物体に対してうまく一般化可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:13:39Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Hierarchical Relational Inference [80.00374471991246]
  本稿では,物体を局所的に独立に振る舞うが,よりグローバルに一括して振る舞う部分の階層としてモデル化する物理推論手法を提案する。 従来の手法とは異なり,本手法は生画像から直接教師なしの方法で学習する。 複数のレベルの抽象化を明確に区別し、合成ビデオと実世界のビデオのモデリングにおいて、強力なベースラインを超えて改善する。
  論文  参考訳（メタデータ） (2020-10-07T20:19:10Z)
• Bowtie Networks: Generative Modeling for Joint Few-Shot Recognition and Novel-View Synthesis [39.53519330457627]
  本稿では,複数ショット認識と新規ビュー合成という新たな課題を提案する。 我々は、オブジェクト分類器を同時に学習し、新しい視点からそのタイプのオブジェクトの画像を生成することを目的としている。 生成モデルと識別モデルとの相互作用と協調に焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-16T19:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。