論文の概要: TextHOI-3D: Text-to-3D Hand-Object Interaction via Discrete Multi-View Generation and Joint Mesh Optimization

• arxiv url: http://arxiv.org/abs/2606.11805v1
• Date: Wed, 10 Jun 2026 08:38:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.367253
• Title: TextHOI-3D: Text-to-3D Hand-Object Interaction via Discrete Multi-View Generation and Joint Mesh Optimization
• Title（参考訳）: TextHoI-3D:離散多視点生成とジョイントメッシュ最適化によるテキスト・ツー・3Dハンドオブジェクトインタラクション
• Authors: Zixiong Hao, Zhencun Jiang,
• Abstract要約: TextHoI-3Dは、生成した多視点観察を、テキスト条件付き視覚生成と手動オブジェクトのリカバリの間の明示的なインターフェースとして利用するステージドフレームワークである。 設計は、個別のマルチビュー表現で接続された両方のステージを維持しながら、幾何学的回復から意味生成を分離する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-conditioned 3D generation has progressed rapidly for images and isolated objects, but producing a hand-object mesh remains challenging: the output must preserve language semantics, cross-view consistency, object geometry, articulated hand shape, and physically plausible contact. We present TextHOI-3D, a staged framework that uses generated multi-view observations as an explicit interface between text-conditioned visual generation and geometry-aware hand-object recovery. TextHOI-3D learns a compact VQ token space for fixed-camera hand-object observations, predicts multi-view visual tokens from text with a CLIP-conditioned visual autoregressive model, and recovers a unified hand-object mesh through prior initialization, multi-view joint optimization, and anti-penetration refinement. The design separates semantic generation from geometric recovery while keeping both stages connected by a discrete multi-view representation. On HO3D-derived evaluations, the multi-view setting reduces object CD from 17.26 mm to 4.92 mm and penetration volume from 5.3721 cm^3 to 0.2193 cm^3 compared with a single-view counterpart, while improving hand errors and surface F-scores. These results support multi-view visual tokens as an effective intermediate representation for text-driven 3D hand-object mesh creation.
• Abstract（参考訳）: テキスト条件付き3D生成は、画像や孤立したオブジェクトに対して急速に進歩してきたが、手動のメッシュの生成は依然として困難である。 テキスト条件付き視覚生成と幾何対応の手オブジェクト復元との明示的なインターフェースとして,生成した多視点観察を利用する段階的フレームワークであるTextHOI-3Dを提案する。 TextHoI-3Dは、固定カメラハンドオブジェクト観測のためのコンパクトなVQトークン空間を学習し、CLIP条件付き視覚自己回帰モデルを用いてテキストから多視点ビジュアルトークンを予測し、事前初期化、マルチビュージョイント最適化、アンチペネレーション改善を通じて統一されたハンドオブジェクトメッシュを復元する。 この設計は、個別の多視点表現で接続された両方のステージを維持しながら、幾何学的回復から意味生成を分離する。 HO3Dによる評価では、マルチビュー設定により、オブジェクトCDを17.26mmから4.92mmに、浸透体積を5.3721 cm^3から0.2193 cm^3に減らし、手書き誤りや表面Fスコアを改善した。 これらの結果は、テキスト駆動3Dハンドオブジェクトメッシュ作成のための効果的な中間表現として、多視点視覚トークンをサポートする。

関連論文リスト

• SeMv-3D: Towards Concurrency of Semantic and Multi-view Consistency in General Text-to-3D Generation [122.47961178994456]
  SeMv-3Dは、GT23D生成におけるセマンティックアライメントとマルチビュー一貫性を協調的に強化する新しいフレームワークである。 本稿では,TPL(Triplane Prior Learning)について紹介する。 我々はまた、一貫した任意のビュー合成を可能にする、三葉飛行機(SAT)における事前ベースセマンティックアライニング(Semantic Aligning)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T07:02:06Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
  我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。 提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-12-07T12:10:05Z)
• T$^3$Bench: Benchmarking Current Progress in Text-to-3D Generation [52.029698642883226]
  テキストから3Dへの手法は、強力な事前学習拡散モデルを利用してNeRFを最適化する。 ほとんどの研究は、主観的なケーススタディとユーザ実験で結果を評価している。 最初の総合的なテキスト・ツー・3DベンチマークであるT$3$Benchを紹介する。
  論文  参考訳（メタデータ） (2023-10-04T17:12:18Z)
• Beyond First Impressions: Integrating Joint Multi-modal Cues for Comprehensive 3D Representation [72.94143731623117]
  既存の方法は、単に3D表現を単一ビューの2D画像と粗い親カテゴリテキストに整列させる。 十分でないシナジーは、堅牢な3次元表現は共同視覚言語空間と一致すべきという考えを無視している。 我々は,JM3Dと呼ばれる多視点共同モダリティモデリング手法を提案し,点雲,テキスト,画像の統一表現を求める。
  論文  参考訳（メタデータ） (2023-08-06T01:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。