論文の概要: Toon3D: Seeing Cartoons from New Perspectives

• arxiv url: http://arxiv.org/abs/2405.10320v3
• Date: Tue, 10 Dec 2024 17:23:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:33:53.216679
• Title: Toon3D: Seeing Cartoons from New Perspectives
• Title（参考訳）: Toon3D:新しい視点からカートゥーンを見る
• Authors: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa,
• Abstract要約: 漫画やアニメのイメージから、同じシーンを描いている3D構造を復元する。 私たちのキーとなる洞察は、カメラのポーズとシーンの幾何学を回復しながら入力画像を変形させることです。 我々の回収した点雲は、今まで描いたことのない視点から漫画を体験する新しい視点合成法に接続することができる。
• 参考スコア（独自算出の注目度）: 52.85312338932685
• License:
• Abstract: We recover the underlying 3D structure from images of cartoons and anime depicting the same scene. This is an interesting problem domain because images in creative media are often depicted without explicit geometric consistency for storytelling and creative expression-they are only 3D in a qualitative sense. While humans can easily perceive the underlying 3D scene from these images, existing Structure-from-Motion (SfM) methods that assume 3D consistency fail catastrophically. We present Toon3D for reconstructing geometrically inconsistent images. Our key insight is to deform the input images while recovering camera poses and scene geometry, effectively explaining away geometrical inconsistencies to achieve consistency. This process is guided by the structure inferred from monocular depth predictions. We curate a dataset with multi-view imagery from cartoons and anime that we annotate with reliable sparse correspondences using our user-friendly annotation tool. Our recovered point clouds can be plugged into novel-view synthesis methods to experience cartoons from viewpoints never drawn before. We evaluate against classical and recent learning-based SfM methods, where Toon3D is able to obtain more reliable camera poses and scene geometry.
• Abstract（参考訳）: 漫画やアニメのイメージから、同じシーンを描いている3D構造を復元する。 創造的メディアのイメージは、ストーリーテリングや創造的表現に対して明示的な幾何学的整合性を持たずに表現されることが多いため、これは興味深い問題領域である。 人間はこれらの画像から下層の3Dシーンを容易に知覚できるが、既存の3D一貫性が破滅的に失敗すると仮定するStructure-from-Motion(SfM)メソッドは失敗する。 幾何学的に一貫性のない画像の再構成のためのToon3Dを提案する。 我々の重要な洞察は、カメラのポーズやシーンの形状を復元しながら入力画像を変形させ、幾何学的不整合を効果的に説明し、一貫性を実現することである。 この過程は、単分子深度予測から推定される構造によって導かれる。 我々は,ユーザフレンドリーなアノテーションツールを用いて,漫画やアニメのマルチビュー画像でデータセットをキュレートし,信頼性の高いスパース対応でアノテートする。 我々の回収した点雲は、今まで描いたことのない視点から漫画を体験する新しい視点合成法に接続することができる。 我々は、Toon3Dがより信頼性の高いカメラポーズとシーン形状を得ることができる古典的および最近の学習ベースSfM法に対して評価を行う。

関連論文リスト

• DualPM: Dual Posed-Canonical Point Maps for 3D Shape and Pose Reconstruction [67.13370009386635]
  そこで,Dual Point Maps (DualPM) では,同じ画像から一対の点マップを抽出し,一対の点マップをオブジェクト上の3D位置と関連付け,一対の点マップを静止時の標準バージョンに関連付ける。 3次元再構成と3次元ポーズ推定がDualPMの予測に比例することを示した。
  論文  参考訳（メタデータ） (2024-12-05T18:59:48Z)
• Generating 3D-Consistent Videos from Unposed Internet Photos [68.944029293283]
  カメラパラメータなどの3Dアノテーションを使わずに,スケーラブルな3D対応ビデオモデルをトレーニングする。 その結果,映像やマルチビューインターネット写真などの2次元データのみを用いて,シーンレベルの3D学習をスケールアップできることが示唆された。
  論文  参考訳（メタデータ） (2024-11-20T18:58:31Z)
• Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
  本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。 また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
  論文  参考訳（メタデータ） (2024-04-30T17:59:40Z)
• The More You See in 2D, the More You Perceive in 3D [32.578628729549145]
  SAP3Dは、任意の数の未提示画像から3D再構成と新しいビュー合成を行うシステムである。 入力画像の数が増えるにつれて,提案手法の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:40Z)
• Neural 3D Scene Reconstruction from Multiple 2D Images without 3D Supervision [41.20504333318276]
  平面制約下でのスパース深度を用いてシーンを3次元の監督なしに再構成する新しいニューラル再構成法を提案する。 シーンを表すために,符号付き距離関数場,色場,確率場を導入する。 我々は、これらのフィールドを最適化し、2D画像で識別可能な光線マーキングを監督することでシーンを再構築する。
  論文  参考訳（メタデータ） (2023-06-30T13:30:48Z)
• Style Agnostic 3D Reconstruction via Adversarial Style Transfer [23.304453155586312]
  物体の3次元形状を画像から再構成することは、コンピュータビジョンにおける大きな課題である。 本研究では,背景を持つ画像から3次元物体を識別可能な学習法を提案する。
  論文  参考訳（メタデータ） (2021-10-20T21:24:44Z)
• Online Adaptation for Consistent Mesh Reconstruction in the Wild [147.22708151409765]
  入ってくるテストビデオに適用する自己教師型オンライン適応問題として、ビデオベースの再構成を行う。 我々は,野生で捕獲された動物を含む非剛体物体のビデオから,時間的に一貫した信頼性の高い3D構造を復元できることを実証した。
  論文  参考訳（メタデータ） (2020-12-06T07:22:27Z)
• From Image Collections to Point Clouds with Self-supervised Shape and Pose Networks [53.71440550507745]
  2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。 本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。 我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
  論文  参考訳（メタデータ） (2020-05-05T04:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。