論文の概要: InstructP2P: Learning to Edit 3D Point Clouds with Text Instructions

• arxiv url: http://arxiv.org/abs/2306.07154v1
• Date: Mon, 12 Jun 2023 14:42:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 14:22:34.770224
• Title: InstructP2P: Learning to Edit 3D Point Clouds with Text Instructions
• Title（参考訳）: InstructP2P: テキスト命令で3Dポイントクラウドを編集する学習
• Authors: Jiale Xu, Xintao Wang, Yan-Pei Cao, Weihao Cheng, Ying Shan, Shenghua Gao
• Abstract要約: InstructP2Pは、ポイントクラウド上での3D形状編集のためのエンドツーエンドフレームワークである。 我々の実験では、InstructP2Pは、新しい形状のカテゴリや指示に適応して一般化能力を示す。
• 参考スコア（独自算出の注目度）: 45.02784852295942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enhancing AI systems to perform tasks following human instructions can significantly boost productivity. In this paper, we present InstructP2P, an end-to-end framework for 3D shape editing on point clouds, guided by high-level textual instructions. InstructP2P extends the capabilities of existing methods by synergizing the strengths of a text-conditioned point cloud diffusion model, Point-E, and powerful language models, enabling color and geometry editing using language instructions. To train InstructP2P, we introduce a new shape editing dataset, constructed by integrating a shape segmentation dataset, off-the-shelf shape programs, and diverse edit instructions generated by a large language model, ChatGPT. Our proposed method allows for editing both color and geometry of specific regions in a single forward pass, while leaving other regions unaffected. In our experiments, InstructP2P shows generalization capabilities, adapting to novel shape categories and instructions, despite being trained on a limited amount of data.
• Abstract（参考訳）: 人間の指示に従ってタスクを実行するaiシステムを強化することで、生産性が大幅に向上する。 本稿では,ポイントクラウド上での3次元形状編集のためのエンドツーエンドフレームワークであるInstructP2Pについて述べる。 InstructP2Pは、テキスト条件のポイントクラウド拡散モデル、ポイント-E、および強力な言語モデルの強みを相乗化することにより、既存の手法の能力を拡張し、言語命令を用いた色と幾何の編集を可能にする。 そこで,instructp2pを訓練するために,形状分割データセット,市販形状プログラム,大規模言語モデルchatgptで生成された多種多様な編集命令を統合した新しい形状編集データセットを提案する。 提案手法では,特定の領域の色と形状を1つの前方パスで編集できるが,他の領域は影響を受けない。 InstructP2Pは、限られた量のデータで訓練されているにもかかわらず、新しい形状のカテゴリや指示に適応して一般化能力を示す。

関連論文リスト

• EditRoom: LLM-parameterized Graph Diffusion for Composable 3D Room Layout Editing [114.14164860467227]
  自然言語コマンドで様々なレイアウト編集を実行できるフレームワークであるEdit-Roomを提案する。 特にEditRoomは、コマンドプランニングとターゲットシーンの生成にLarge Language Models(LLM)を利用している。 既存の3Dシーンデータセットを拡張する自動パイプラインを開発し,83kの編集ペアを備えた大規模データセットであるEditRoom-DBを導入した。
  論文  参考訳（メタデータ） (2024-10-03T17:42:24Z)
• Uni3D-LLM: Unifying Point Cloud Perception, Generation and Editing with Large Language Models [71.2931570433261]
  我々は,Large Language Model(LLM)を活用した統合フレームワークであるUni3D-LLMを導入し,ポイントクラウドシーン内での3次元認識,生成,編集のタスクを統合する。 Uni3D-LLMは自然言語の表現力を活用し、3Dオブジェクトの生成と編集の正確なコマンドを可能にする。
  論文  参考訳（メタデータ） (2024-01-09T06:20:23Z)
• ShapeGPT: 3D Shape Generation with A Unified Multi-modal Language Model [27.122194733305594]
  本稿では,複数の形状関連タスクに対処するために,強力な事前学習言語モデルを活用する形状関連マルチモーダルフレームワークであるShapeGPTを提案する。 具体的には、ShapeGPTは、連続した形状を形語に識別するための単語文パラグラフフレームワークを使用し、さらにこれらの単語を形文のために組み立て、複数段落の指示文に統合する。 実験により、ShapeGPTは、テキスト・トゥ・シェイプ、シェイプ・トゥ・テキスト、シェイプ・コンプリート、形状編集など、形状関連タスクに匹敵する性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-29T13:26:29Z)
• EXIM: A Hybrid Explicit-Implicit Representation for Text-Guided 3D Shape Generation [124.27302003578903]
  本稿では,3次元形状を生成するための新しいテキスト誘導手法を提案する。 我々は,明示的表現と暗黙的表現の強みを組み合わせたハイブリッド3D表現,すなわちEXIMを活用する。 テキスト誘導型3次元形状を用いた室内シーンを一貫したスタイルで生成する手法の適用性を示した。
  論文  参考訳（メタデータ） (2023-11-03T05:01:51Z)
• CoEdIT: Text Editing by Task-Specific Instruction Tuning [18.824571167583432]
  CoEdIT (CoEdIT) は、テキスト編集システムである。 所望のテキストの属性を指定するユーザから命令を受け取り、編集されたテキストを出力する。 テキスト編集のためのタスク固有の命令の多種多様なコレクションに基づいて,大規模言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-17T00:05:24Z)
• LADIS: Language Disentanglement for 3D Shape Editing [35.796594606657735]
  本手法は,既存のSOTA手法を編集局所性において20%上回る性能を示した。 我々の研究は、言語表現を単に切り離すことで、下流の3D形状の編集が関連部品により局所的になることを示唆している。
  論文  参考訳（メタデータ） (2022-12-09T17:54:28Z)
• ISS: Image as Stetting Stone for Text-Guided 3D Shape Generation [91.37036638939622]
  本稿では,2つのモダリティを接続するステップストーンとして2次元画像を導入することで,その課題に対して,イメージ・アズ・ステッピング・ストーン(ISS)と呼ばれる新しいフレームワークを提案する。 私たちの重要な貢献は、CLIP機能を形状にマッピングする2段階の機能空間アライメントアプローチです。 出力形状を新しいテクスチャで表現するために,テキストガイド型スタイル化モジュールを定式化する。
  論文  参考訳（メタデータ） (2022-09-09T06:54:21Z)
• Towards Implicit Text-Guided 3D Shape Generation [81.22491096132507]
  本研究は,テキストから3次元形状を生成するという課題について考察する。 テキスト記述にマッチする色で高忠実な形状を生成できるテキスト誘導型3次元形状生成のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-03-28T10:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。