論文の概要: GenHeld: Generating and Editing Handheld Objects

• arxiv url: http://arxiv.org/abs/2406.05059v3
• Date: Sat, 15 Jun 2024 03:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 02:10:30.452586
• Title: GenHeld: Generating and Editing Handheld Objects
• Title（参考訳）: GenHeld: ハンドヘルドオブジェクトの生成と編集
• Authors: Chaerin Min, Srinath Sridhar,
• Abstract要約: 我々は3次元ハンドモデルや2次元画像に条件付き保持オブジェクトを合成する逆問題にGenHeldを提案する。 GenHeld 3Dは、オブジェクトコードと呼ばれるコンパクトなオブジェクト表現を使用して、大きなデータセットから可塑性保持オブジェクトを選択することができる。 GenHeld 2Dは、GenHeld 3Dの能力と拡散ベースの画像編集を組み合わせることで動作する。
• 参考スコア（独自算出の注目度）: 3.6078215038168473
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Grasping is an important human activity that has long been studied in robotics, computer vision, and cognitive science. Most existing works study grasping from the perspective of synthesizing hand poses conditioned on 3D or 2D object representations. We propose GenHeld to address the inverse problem of synthesizing held objects conditioned on 3D hand model or 2D image. Given a 3D model of hand, GenHeld 3D can select a plausible held object from a large dataset using compact object representations called object codes.The selected object is then positioned and oriented to form a plausible grasp without changing hand pose. If only a 2D hand image is available, GenHeld 2D can edit this image to add or replace a held object. GenHeld 2D operates by combining the abilities of GenHeld 3D with diffusion-based image editing. Results and experiments show that we outperform baselines and can generate plausible held objects in both 2D and 3D. Our experiments demonstrate that our method achieves high quality and plausibility of held object synthesis in both 3D and 2D.
• Abstract（参考訳）: グラスピングは、ロボット工学、コンピュータビジョン、認知科学において長年研究されてきた重要な人間の活動である。 既存の研究の多くは、3次元または2次元のオブジェクト表現に条件付けされた手ポーズの合成の観点から把握することを研究している。 我々は3次元ハンドモデルや2次元画像に条件付き保持オブジェクトを合成する逆問題にGenHeldを提案する。 GenHeld 3Dは3Dモデルによってオブジェクトコードと呼ばれるコンパクトなオブジェクト表現を用いて大きなデータセットから可塑性保持オブジェクトを選択できる。 もし2Dハンドイメージが利用可能であれば、GenHeld 2Dはこの画像を編集して保持されているオブジェクトを追加したり置き換えたりできる。 GenHeld 2Dは、GenHeld 3Dの能力と拡散ベースの画像編集を組み合わせることで動作する。 結果と実験により, 2次元および3次元の両方において, ベースラインを上回り, 保持可能な物体を生成できることが判明した。 実験により,本手法は3次元および2次元の両方で保持対象合成の精度と妥当性を実証した。

関連論文リスト

• MPL: Lifting 3D Human Pose from Multi-view 2D Poses [75.26416079541723]
  本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。 実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
  論文  参考訳（メタデータ） (2024-08-20T12:55:14Z)
• EVA3D: Compositional 3D Human Generation from 2D Image Collections [27.70991135165909]
  EVA3Dは2次元画像のみから学習した無条件の3次元人体生成モデルである。 詳細な形状の3D人間をサンプリングし、鐘や笛を使わずに高品質な画像(最大512x256まで)をレンダリングすることができる。 テクスチャーとテクスチャ品質の両方に関して、最先端の3Dヒューマンジェネレーション性能を実現する。
  論文  参考訳（メタデータ） (2022-10-10T17:59:31Z)
• Cross-Modal 3D Shape Generation and Manipulation [62.50628361920725]
  本稿では,2次元のモダリティと暗黙の3次元表現を共用した多モード生成モデルを提案する。 グレースケールラインスケッチとレンダリングカラー画像の2つの代表的な2次元モーダル性について,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-07-24T19:22:57Z)
• LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery [72.3681707384754]
  そこで,本研究では,特定の動物種について,数枚の画像のみを用いて,動物の3次元ポーズと形状を推定する現実的な問題設定を提案する。 我々は2Dや3Dの地平線アノテーションを前提としないし、多視点や時間的情報も利用しない。 そこで本研究では,3次元部品を自己監督的に発見する新しい最適化フレームワークLASSIEを提案する。
  論文  参考訳（メタデータ） (2022-07-07T17:00:07Z)
• 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
  本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-02T17:10:53Z)
• Lifting 2D Human Pose to 3D with Domain Adapted 3D Body Concept [49.49032810966848]
  既存の3Dポーズ推定は,1)2Dデータと3Dデータとのあいまいさ,2)よくラベル付けされた2D-3Dポーズペアの欠如に悩まされている。 本研究では,人体の3次元概念を学習するためにラベル付き3次元ポーズを利用する新しい枠組みを提案する。 2つのドメインに適応することにより、3Dポーズから学んだ身体知識を2Dポーズに適用し、2Dポーズエンコーダを誘導し、ポーズリフトに埋め込まれた情報的な3D"想像"を生成する。
  論文  参考訳（メタデータ） (2021-11-23T16:02:12Z)
• Cycle-Consistent Generative Rendering for 2D-3D Modality Translation [21.962725416347855]
  我々は、3Dオブジェクトのリアルなレンダリングを生成し、画像からリアルな3D形状を推測するモジュールを学習する。 生成ドメイン翻訳の手法を利用することで、弱い監視しか必要としない学習アルゴリズムを不適切なデータで定義することができる。 得られたモデルは、2D画像から3D形状、ポーズ、テクスチャ推論を行うことができるが、新しいテクスチャ化された3D形状やレンダリングを生成することもできる。
  論文  参考訳（メタデータ） (2020-11-16T15:23:03Z)
• Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs [156.1209884183522]
  GANのような最先端の2D生成モデルは、自然像多様体のモデリングにおいて前例のない品質を示している。 本稿では,RGB画像のみをトレーニングした市販の2D GANから3次元幾何学的手がかりを直接マイニングする試みについて紹介する。
  論文  参考訳（メタデータ） (2020-11-02T09:38:43Z)
• Detailed 2D-3D Joint Representation for Human-Object Interaction [45.71407935014447]
  HOI学習のための2次元3次元共同表現学習法を提案する。 まず, 単視点の人体捕捉法を用いて, 3次元体, 顔, 手の形状を詳細に把握する。 次に,3次元オブジェクトの位置と大きさを,2次元オブジェクト空間構成と対象カテゴリーの先行点から推定する。
  論文  参考訳（メタデータ） (2020-04-17T10:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。