論文の概要: ShapeClipper: Scalable 3D Shape Learning from Single-View Images via Geometric and CLIP-based Consistency

• arxiv url: http://arxiv.org/abs/2304.06247v1
• Date: Thu, 13 Apr 2023 03:53:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 15:50:41.285920
• Title: ShapeClipper: Scalable 3D Shape Learning from Single-View Images via Geometric and CLIP-based Consistency
• Title（参考訳）: ShapeClipper: 幾何学的およびCLIPベースの一貫性による単一視点画像からのスケーラブルな3D形状学習
• Authors: Zixuan Huang, Varun Jampani, Anh Thai, Yuanzhen Li, Stefan Stojanov, James M. Rehg
• Abstract要約: 実世界のRGB画像から3次元オブジェクト形状を再構成する新しい手法であるShapeClipperを提案する。 ShapeClipperは、単一ビュー分割画像の集合から形状再構成を学習する。 実世界の3つの挑戦的データセットに対して,本手法の評価を行った。
• 参考スコア（独自算出の注目度）: 39.7058456335011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present ShapeClipper, a novel method that reconstructs 3D object shapes from real-world single-view RGB images. Instead of relying on laborious 3D, multi-view or camera pose annotation, ShapeClipper learns shape reconstruction from a set of single-view segmented images. The key idea is to facilitate shape learning via CLIP-based shape consistency, where we encourage objects with similar CLIP encodings to share similar shapes. We also leverage off-the-shelf normals as an additional geometric constraint so the model can learn better bottom-up reasoning of detailed surface geometry. These two novel consistency constraints, when used to regularize our model, improve its ability to learn both global shape structure and local geometric details. We evaluate our method over three challenging real-world datasets, Pix3D, Pascal3D+, and OpenImages, where we achieve superior performance over state-of-the-art methods.
• Abstract（参考訳）: 実世界のRGB画像から3次元オブジェクト形状を再構成する新しい手法であるShapeClipperを提案する。 ShapeClipperは、面倒な3D、マルチビュー、カメラポーズアノテーションに頼るのではなく、単一のビューのセグメンテーション画像から形状再構成を学ぶ。 キーとなるアイデアは、CLIPベースの形状整合性による形状学習を促進することであり、同じような形状を共有するCLIPエンコーディングを持つオブジェクトを奨励する。 また,オフ・ザ・シェルフ・ノーマルを付加的な幾何学的制約として利用することで,詳細な表面幾何のボトムアップ推論を学習できる。 これら2つの新しい一貫性制約は、我々のモデルを正規化する際に、大域的な形状構造と局所幾何学的詳細の両方を学ぶ能力を向上させる。 提案手法はPix3D, Pascal3D+, OpenImagesの3つの挑戦的な実世界のデータセットに対して評価し, 最先端の手法よりも優れた性能を実現する。

関連論文リスト

• DECOLLAGE: 3D Detailization by Controllable, Localized, and Learned Geometry Enhancement [38.719572669042925]
  エンドユーザーが機械学習を用いて3次元形状を洗練・詳細化できる3Dモデリング手法を提案する。 詳細をローカライズする能力は、新しいインタラクティブな創造性と応用を可能にする。
  論文  参考訳（メタデータ） (2024-09-10T00:51:49Z)
• ShaDDR: Interactive Example-Based Geometry and Texture Generation via 3D Shape Detailization and Differentiable Rendering [24.622120688131616]
  ShaDDRは、高分解能なテクスチャ化された3D形状を生成するサンプルベースのディープ生成ニューラルネットワークである。 本手法は,マルチレゾリューションボクセルアップサンプリングによる幾何学の精密化と,ボクセル表面のテクスチャの生成を学習する。 生成された形状は、入力された粗いボクセルモデルの全体構造を保存する。
  論文  参考訳（メタデータ） (2023-06-08T02:35:30Z)
• Geo-SIC: Learning Deformable Geometric Shapes in Deep Image Classifiers [8.781861951759948]
  本稿では,画像分類の性能向上のために,変形空間における変形可能な形状を学習する最初のディープラーニングモデルGeo-SICを提案する。 画像空間と潜時形状空間の両方から特徴を同時に導出する,クラス内変動の大きい新設計のフレームワークを提案する。 幾何学的形状表現の教師なし学習を取り入れた強化型分類網を開発した。
  論文  参考訳（メタデータ） (2022-10-25T01:55:17Z)
• ISS: Image as Stetting Stone for Text-Guided 3D Shape Generation [91.37036638939622]
  本稿では,2つのモダリティを接続するステップストーンとして2次元画像を導入することで,その課題に対して,イメージ・アズ・ステッピング・ストーン(ISS)と呼ばれる新しいフレームワークを提案する。 私たちの重要な貢献は、CLIP機能を形状にマッピングする2段階の機能空間アライメントアプローチです。 出力形状を新しいテクスチャで表現するために,テキストガイド型スタイル化モジュールを定式化する。
  論文  参考訳（メタデータ） (2022-09-09T06:54:21Z)
• Share With Thy Neighbors: Single-View Reconstruction by Cross-Instance Consistency [59.427074701985795]
  単一ビューの再構築は通常、視点アノテーション、シルエット、背景の欠如、同じインスタンスの複数のビュー、テンプレートの形状、対称性に依存する。 異なるオブジェクトインスタンスのイメージ間の一貫性を明確に活用することで、これらの監督と仮説をすべて回避します。 i)プログレッシブ・コンディショニング(プログレッシブ・コンディショニング)、(ii)類似の形状やテクスチャを持つインスタンス間の一貫性の喪失、(ii)モデルのカテゴリからインスタンスへと徐々に専門化するためのトレーニング戦略。
  論文  参考訳（メタデータ） (2022-04-21T17:47:35Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• Discovering 3D Parts from Image Collections [98.16987919686709]
  本稿では,2次元画像収集のみによる3次元部分発見の問題に対処する。 そこで我々は,手動で注釈付部品を監督する代わりに,自己監督型アプローチを提案する。 私たちのキーとなる洞察は、前もって新しい部分の形状を学習することで、各部分は、単純な幾何学を持つように制約されたまま、忠実にオブジェクトの形状に適合できるようにします。
  論文  参考訳（メタデータ） (2021-07-28T20:29:16Z)
• Self-Supervised 2D Image to 3D Shape Translation with Disentangled Representations [92.89846887298852]
  本稿では,2次元画像ビューと3次元オブジェクト形状を翻訳するフレームワークを提案する。 形状変換のための自己教師型画像変換フレームワークであるSISTを提案する。
  論文  参考訳（メタデータ） (2020-03-22T22:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。