論文の概要: Toon3D: Seeing Cartoons from New Perspectives

• arxiv url: http://arxiv.org/abs/2405.10320v3
• Date: Tue, 10 Dec 2024 17:23:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:33:53.216679
• Title: Toon3D: Seeing Cartoons from New Perspectives
• Title（参考訳）: Toon3D:新しい視点からカートゥーンを見る
• Authors: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa,
• Abstract要約: 漫画やアニメのイメージから、同じシーンを描いている3D構造を復元する。 私たちのキーとなる洞察は、カメラのポーズとシーンの幾何学を回復しながら入力画像を変形させることです。 我々の回収した点雲は、今まで描いたことのない視点から漫画を体験する新しい視点合成法に接続することができる。
• 参考スコア（独自算出の注目度）: 52.85312338932685
• License:
• Abstract: We recover the underlying 3D structure from images of cartoons and anime depicting the same scene. This is an interesting problem domain because images in creative media are often depicted without explicit geometric consistency for storytelling and creative expression-they are only 3D in a qualitative sense. While humans can easily perceive the underlying 3D scene from these images, existing Structure-from-Motion (SfM) methods that assume 3D consistency fail catastrophically. We present Toon3D for reconstructing geometrically inconsistent images. Our key insight is to deform the input images while recovering camera poses and scene geometry, effectively explaining away geometrical inconsistencies to achieve consistency. This process is guided by the structure inferred from monocular depth predictions. We curate a dataset with multi-view imagery from cartoons and anime that we annotate with reliable sparse correspondences using our user-friendly annotation tool. Our recovered point clouds can be plugged into novel-view synthesis methods to experience cartoons from viewpoints never drawn before. We evaluate against classical and recent learning-based SfM methods, where Toon3D is able to obtain more reliable camera poses and scene geometry.
• Abstract（参考訳）: 漫画やアニメのイメージから、同じシーンを描いている3D構造を復元する。 創造的メディアのイメージは、ストーリーテリングや創造的表現に対して明示的な幾何学的整合性を持たずに表現されることが多いため、これは興味深い問題領域である。 人間はこれらの画像から下層の3Dシーンを容易に知覚できるが、既存の3D一貫性が破滅的に失敗すると仮定するStructure-from-Motion(SfM)メソッドは失敗する。 幾何学的に一貫性のない画像の再構成のためのToon3Dを提案する。 我々の重要な洞察は、カメラのポーズやシーンの形状を復元しながら入力画像を変形させ、幾何学的不整合を効果的に説明し、一貫性を実現することである。 この過程は、単分子深度予測から推定される構造によって導かれる。 我々は,ユーザフレンドリーなアノテーションツールを用いて,漫画やアニメのマルチビュー画像でデータセットをキュレートし,信頼性の高いスパース対応でアノテートする。 我々の回収した点雲は、今まで描いたことのない視点から漫画を体験する新しい視点合成法に接続することができる。 我々は、Toon3Dがより信頼性の高いカメラポーズとシーン形状を得ることができる古典的および最近の学習ベースSfM法に対して評価を行う。

関連論文リスト

• Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches [50.51643519253066]
  3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。 本稿では,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成するための,新しいディープラーニングベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-08T16:27:37Z)
• NeRFiller: Completing Scenes via Generative 3D Inpainting [113.18181179986172]
  生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。 関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-07T18:59:41Z)
• 3D Cinemagraphy from a Single Image [73.09720823592092]
  3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。 静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
  論文  参考訳（メタデータ） (2023-03-10T06:08:23Z)
• AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
  2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。 近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。 マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:59:56Z)
• LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery [72.3681707384754]
  そこで,本研究では,特定の動物種について,数枚の画像のみを用いて,動物の3次元ポーズと形状を推定する現実的な問題設定を提案する。 我々は2Dや3Dの地平線アノテーションを前提としないし、多視点や時間的情報も利用しない。 そこで本研究では,3次元部品を自己監督的に発見する新しい最適化フレームワークLASSIEを提案する。
  論文  参考訳（メタデータ） (2022-07-07T17:00:07Z)
• Curiosity-driven 3D Scene Structure from Single-image Self-supervision [22.527696847086574]
  これまでの研究は、孤立した3Dオブジェクトを2Dのみの自己スーパービジョンから学習することを実証してきた。 ここでは、複数のオブジェクトで構成された3Dシーン全体(位置、向き、型など)に拡張することにしました。 得られたシステムは、異なる仮想または実画像の2D画像を完全な3Dシーンに変換し、それらのシーンの2D画像からのみ学習する。
  論文  参考訳（メタデータ） (2020-12-02T14:17:16Z)
• 3D Shape Reconstruction from Free-Hand Sketches [42.15888734492648]
  歪みのない線図からの3次元再構成では大きな進歩があったが、フリーハンドスケッチから3次元形状を再構築する努力はほとんど行われていない。 インタラクティブデザインやVR/ARゲームといった3D関連アプリケーションにおけるスケッチのパワー向上を目指す。 フリーハンドスケッチ3D再構成の大きな課題は、トレーニングデータ不足とフリーハンドスケッチの多様性にある。
  論文  参考訳（メタデータ） (2020-06-17T07:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。