InstructMesh: Selective Refinement of Generative 3D Models for Fabrication
Abstractの概要
InstructMeshは、ユーザーによる領域選択とターゲットを絞った潜在空間編集を通じて、AI生成3Dモデルにおける製造に関連する欠陥を修復するために設計された対話型の生成後ツールです。本論文は、Trellisで生成された120個のThingiverseベースの再構成モデルに関する形成分析から始まり、製造に関連する幾何学的欠陥が広範に存在し、頻繁に同時発生することを示しています。これらの知見に基づき、著者らは自然言語またはスライダー操作で利用可能な一連の標準的な付加・削除潜在操作を導入し、モデル再生成前のプレビュー可視化を付与しました。技術評価および2つのユーザー実験により、初心者が本システムを用いて機能的な幾何学的欠陥を効果的に特定・修正できることが実証されています。
新規性
本研究は、生成型3D出力の製造修復を、明示的なメッシュ操作や反復的なテキストの再プロンプトではなく、選択的な潜在空間ボクセル編集として位置づけている点で独自性があります。領域ベースの選択を、パラメータ化された標準幾何操作の固定語彙、インコンテキストLLM指示マッピング、およびWYSIWYGスタイルのプレビュー可視化と組み合わせています。
成果
技術ベンチマークにおいて、本システムは開口部の欠落で96.3%、肉厚の問題で95.65%といった高い欠陥修復率を達成し、GPT-4は92.1%の精度で標準操作を正しく予測しました。ユーザー実験Iでは、初心者がアノテーションされた製造欠陥の90.4%を特定し、89.7%の修復に成功しました。ユーザー実験IIでは、参加者12名全員が自然言語とスライダー操作を組み合わせたハイブリッドワークフローを支持し、決定支援と明瞭さの観点からプレビュー可視化を高く評価しました。
論文の注目点
- Thingiverseモデルを再構成した120個のモデルに関する形成調査により、78.3%に複数の製造関連の欠陥があり、1モデルあたり平均2.4件の問題が存在することが判明しました。
- InstructMeshは、6つの標準的な付加および削除操作を通じて中間ボクセル潜在表現を修正し、視覚プレビューとともに自然言語とスライダーの両インターフェースをサポートします。
- 3Dモデリング経験のない初心者参加者が、評価対象となった欠陥の90.4%を特定し89.7%を修復することに成功し、全員一致でハイブリッド操作モードへの選好を示しました。