論文の概要: CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers?
- arxiv url: http://arxiv.org/abs/2412.13810v1
- Date: Wed, 18 Dec 2024 12:57:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:49:48.088730
- Title: CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers?
- Title（参考訳）: CAD-Assistant:ジェネリックCADタスクソルバーとしてのツール拡張VLLMs?
- Authors: Dimitrios Mallis, Ahmet Serdar Karadeniz, Sebastian Cavada, Danila Rukhovich, Niki Foteinopoulou, Kseniya Cherenkova, Anis Kacem, Djamila Aouada,
- Abstract要約: CAD-Assistantは、FreeCADソフトウェアを備えたPythonインタプリタ上で反復的に実行されるアクションを生成することで、マルチモーダルなユーザクエリに対処する。
我々は、Pythonライブラリ、FreeCAD Python APIのモジュール、有用なルーチン、レンダリング機能、その他の特殊なモジュールを含む、幅広いCAD固有のツールを検討します。
- 参考スコア（独自算出の注目度）: 12.5472026454031
- License:
- Abstract: We propose CAD-Assistant, a general-purpose CAD agent for AI-assisted design. Our approach is based on a powerful Vision and Large Language Model (VLLM) as a planner and a tool-augmentation paradigm using CAD-specific modules. CAD-Assistant addresses multimodal user queries by generating actions that are iteratively executed on a Python interpreter equipped with the FreeCAD software, accessed via its Python API. Our framework is able to assess the impact of generated CAD commands on geometry and adapts subsequent actions based on the evolving state of the CAD design. We consider a wide range of CAD-specific tools including Python libraries, modules of the FreeCAD Python API, helpful routines, rendering functions and other specialized modules. We evaluate our method on multiple CAD benchmarks and qualitatively demonstrate the potential of tool-augmented VLLMs as generic CAD task solvers across diverse CAD workflows.
- Abstract（参考訳）: 本稿では,AI支援設計のための汎用CADエージェントCAD-Assistantを提案する。
我々のアプローチは、CAD固有のモジュールを用いたプランナーおよびツール拡張パラダイムとしての強力なビジョン・アンド・大型言語モデル(VLLM)に基づいている。
CAD-Assistantは、Python API経由でアクセスされるFreeCADソフトウェアを備えたPythonインタプリタ上で反復的に実行されるアクションを生成することで、マルチモーダルなユーザクエリに対処する。
本フレームワークでは,CAD コマンドが幾何に与える影響を評価し,CAD 設計の進化状況に基づいてその後の動作を適応することができる。
我々は、Pythonライブラリ、FreeCAD Python APIのモジュール、有用なルーチン、レンダリング機能、その他の特殊なモジュールを含む、幅広いCAD固有のツールを検討します。
本手法を複数のCADベンチマーク上で評価し,多様なCADワークフローにまたがる汎用CADタスクソルバとしてのツール拡張VLLMの可能性を定性的に示す。
関連論文リスト
- CAD-MLLM: Unifying Multimodality-Conditioned CAD Generation With MLLM [39.113795259823476]
マルチモーダル入力に条件付きパラメトリックCADモデルを生成可能な最初のシステムであるCAD-MLLMを導入する。
先進的な大規模言語モデル (LLM) を用いて,多様なマルチモーダルデータとCADモデルのベクトル化表現に特徴空間を整合させる。
得られたデータセットはOmni-CADと呼ばれ、CADモデル毎にテキスト記述、多視点画像、ポイント、コマンドシーケンスを含む最初のマルチモーダルCADデータセットである。
論文 参考訳（メタデータ） (2024-11-07T18:31:08Z) - CadVLM: Bridging Language and Vision in the Generation of Parametric CAD Sketches [24.239470848849418]
CAD(Parametric Computer-Aided Design)は、現代の機械設計の中心である。
CAD生成のためのエンド・ツー・エンドの視覚言語モデルであるCadVLMを提案する。
論文 参考訳（メタデータ） (2024-09-26T01:22:29Z) - PS-CAD: Local Geometry Guidance via Prompting and Selection for CAD Reconstruction [86.726941702182]
再構成ネットワークPS-CADに幾何学的ガイダンスを導入する。
我々は、現在の再構成が点雲としての完備モデルと異なる曲面の幾何学を提供する。
第二に、幾何学的解析を用いて、候補面に対応する平面的プロンプトの集合を抽出する。
論文 参考訳（メタデータ） (2024-05-24T03:43:55Z) - Geometric Deep Learning for Computer-Aided Design: A Survey [85.79012726689511]
本調査では,コンピュータ支援設計における学習手法の概要について概観する。
類似性解析と検索、2Dおよび3DCADモデル合成、点雲からのCAD生成を含む。
ベンチマークデータセットとその特性の完全なリストと、この領域の研究を推進しているオープンソースコードを提供する。
論文 参考訳（メタデータ） (2024-02-27T17:11:35Z) - SECAD-Net: Self-Supervised CAD Reconstruction by Learning Sketch-Extrude
Operations [21.000539206470897]
SECAD-Netは、コンパクトで使いやすいCADモデルの再構築を目的とした、エンドツーエンドのニューラルネットワークである。
本研究は,CAD再構築の手法など,最先端の代替手段よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-19T09:26:03Z) - AutoCAD: Automatically Generating Counterfactuals for Mitigating
Shortcut Learning [70.70393006697383]
完全自動かつタスクに依存しないCAD生成フレームワークであるAutoCADについて述べる。
本稿では,完全に自動化されたタスクに依存しないCAD生成フレームワークであるAutoCADを提案する。
論文 参考訳（メタデータ） (2022-11-29T13:39:53Z) - Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval
from a Single Image [58.953160501596805]
本稿では,2次元画像と3次元CADモデルの結合埋め込み空間をパッチワイズで構築する手法を提案する。
我々のアプローチは、CADが正確に一致しない実世界のシナリオにおける最先端技術よりも堅牢である。
論文 参考訳（メタデータ） (2021-08-20T20:58:52Z) - Fusion 360 Gallery: A Dataset and Environment for Programmatic CAD
Construction from Human Design Sequences [43.57844212541765]
簡単な言語で構成されたFusion 360 Galleryを紹介します。
また,CADプログラムの逐次構築をマルコフ決定プロセスとして公開するFusion 360 Gymという対話型環境を提案する。
論文 参考訳（メタデータ） (2020-10-05T23:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。