論文の概要: CADTalk: An Algorithm and Benchmark for Semantic Commenting of CAD
Programs
- arxiv url: http://arxiv.org/abs/2311.16703v1
- Date: Tue, 28 Nov 2023 11:27:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 18:45:55.180611
- Title: CADTalk: An Algorithm and Benchmark for Semantic Commenting of CAD
Programs
- Title(参考訳): CADTalk:CADプログラムのセマンティックコメントのためのアルゴリズムとベンチマーク
- Authors: Haocheng Yuan, Jing Xu, Hao Pan, Adrien Bousseau, Niloy Mitra,
Changjian Li
- Abstract要約: 本稿では,CADプログラムのセマンティックコメント問題を紹介する。
目標は、入力プログラムを意味論的に意味のある形状の部分に対応するコードブロックに分割することである。
プログラム解析とビジュアル・セマンティック・アナリティクスを組み合わせることでこの問題を解決する。
- 参考スコア(独自算出の注目度): 23.735811517695005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: CAD programs are a popular way to compactly encode shapes as a sequence of
operations that are easy to parametrically modify. However, without sufficient
semantic comments and structure, such programs can be challenging to
understand, let alone modify. We introduce the problem of semantic commenting
CAD programs, wherein the goal is to segment the input program into code blocks
corresponding to semantically meaningful shape parts and assign a semantic
label to each block. We solve the problem by combining program parsing with
visual-semantic analysis afforded by recent advances in foundational language
and vision models. Specifically, by executing the input programs, we create
shapes, which we use to generate conditional photorealistic images to make use
of semantic annotators for such images. We then distill the information across
the images and link back to the original programs to semantically comment on
them. Additionally, we collected and annotated a benchmark dataset, CADTalk,
consisting of 5,280 machine-made programs and 45 human-made programs with
ground truth semantic comments to foster future research. We extensively
evaluated our approach, compared to a GPT-based baseline approach, and an
open-set shape segmentation baseline, i.e., PartSLIP, and reported an 83.24%
accuracy on the new CADTalk dataset. Project page:
https://enigma-li.github.io/CADTalk/.
- Abstract(参考訳): cadプログラムは、パラメトリックな修正が容易な操作のシーケンスとして形状をコンパクトにエンコードする一般的な方法である。
しかし、十分なセマンティックなコメントや構造がなければ、このようなプログラムは理解するのが難しくなる。
本稿では,意味的に意味のある形状部分に対応するコードブロックに入力プログラムを分割し,各ブロックに意味ラベルを割り当てることを目的とする,意味的コメントcadプログラムの問題を紹介する。
基礎言語と視覚モデルの最近の進歩を活かし,プログラム解析と視覚分析を組み合わせることで,この問題を解決した。
具体的には、入力プログラムを実行することで、条件付きフォトリアリスティックな画像を生成するために、そのような画像にセマンティックアノテータを使用する形状を生成する。
その後、画像にまたがって情報を蒸留し、元のプログラムにリンクして意味的にコメントします。
さらに,5,280個の機械製プログラムと45個の人為的プログラムからなるベンチマークデータセットCADTalkを収集,注釈し,今後の研究を促進する。
我々はGPTベースのベースラインアプローチやオープンセットの形状分割ベースラインであるPartSLIPと比較して、我々のアプローチを広範囲に評価し、新しいCADTalkデータセットに対して83.24%の精度を報告した。
プロジェクトページ: https://enigma-li.github.io/CADTalk/。
関連論文リスト
- Disentangling Visual Priors: Unsupervised Learning of Scene Interpretations with Compositional Autoencoder [0.20718016474717196]
本稿では、ドメイン固有言語を用いて、画像形成の先駆的選択を捉えるニューロシンボリックアーキテクチャを提案する。
我々は、その言語でテンプレートプログラムを表現し、畳み込みニューラルネットワークによってシーンから抽出された特徴を用いてパラメータ化を学ぶ。
パラメータ化されたプログラムは、実行されると幾何学的プリミティブを生成し、シーンの内容に対応するようにレンダリングして評価する。
論文 参考訳(メタデータ) (2024-09-15T12:47:39Z) - Can Large Language Models Understand Symbolic Graphics Programs? [136.5639211254501]
シンボリックグラフィックスプログラムはコンピュータグラフィックスで人気がある。
シンボルグラフィックプログラムの意味的視覚的理解のためのベンチマークを作成する。
LLMの推理性能は概して優れていた。
論文 参考訳(メタデータ) (2024-08-15T17:59:57Z) - Statistical investigations into the geometry and homology of random programs [0.2302001830524133]
本稿では,チャットGPTから生成したランダムなPythonプログラム間の関係を幾何学的・トポロジ的に記述する方法について述べる。
本稿では,ChatGPT-4とTinyLlamaを画像処理に関する簡単な問題で比較する。
将来、我々のアプローチはプログラミング言語の構造に新たな洞察を与えるかもしれないと推測する。
論文 参考訳(メタデータ) (2024-07-05T20:25:02Z) - Sketch-based Video Object Segmentation: Benchmark and Analysis [55.79497833614397]
本稿では,スケッチベースのビデオオブジェクトセグメンテーション,関連するベンチマーク,強力なベースラインについて紹介する。
私たちのベンチマークには、3つのデータセット、Sketch-DAVIS16、Sketch-DAVIS17、Sketch-YouTube-VOSが含まれています。
実験の結果、スケッチは、フォトマスク、言語、スクリブルなど、他の参照よりも効果的であるが、アノテーション効率が高いことが示された。
論文 参考訳(メタデータ) (2023-11-13T11:53:49Z) - Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。
確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。
Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
論文 参考訳(メタデータ) (2023-09-25T15:42:18Z) - Delving into Shape-aware Zero-shot Semantic Segmentation [18.51025849474123]
我々はtextbfshape-aware zero-shot semantic segmentation を提案する。
古典的スペクトル法に着想を得て,自己教師付き画素ワイド特徴を持つラプラシア行列の固有ベクトルを活用することを提案する。
提案手法は,PascalとCOCOの両方でゼロショットセマンティックセマンティックセグメンテーションのための最先端性能を新たに設定する。
論文 参考訳(メタデータ) (2023-04-17T17:59:46Z) - Language-driven Semantic Segmentation [88.21498323896475]
本稿では,言語駆動型セマンティックイメージセグメンテーションの新しいモデルLSegを提案する。
テキストエンコーダを用いて記述型入力ラベルの埋め込みを計算する。
エンコーダは、画素埋め込みを対応するセマンティッククラスのテキスト埋め込みに合わせるために、対照的な目的で訓練される。
論文 参考訳(メタデータ) (2022-01-10T18:59:10Z) - Representing Partial Programs with Blended Abstract Semantics [62.20775388513027]
プログラム合成エンジンにおける部分的なプログラム表現手法について紹介する。
モジュラーニューラルネットワークとして実装された近似実行モデルを学ぶ。
これらのハイブリッドニューロシンボリック表現は、実行誘導型シンセサイザーがより強力な言語構成を使うことができることを示す。
論文 参考訳(メタデータ) (2020-12-23T20:40:18Z) - Hierarchical Modeling of Multidimensional Data in Regularly Decomposed
Spaces: Synthesis and Perspective [0.0]
このプロジェクトの目的は,自己記述型ビデオ符号化の原理を定義することである。
マルチレゾリューション・コンピューティングの手法を基礎として,部分的正則成分からなる画像セグメンテーションを開発することを提案する。
単純な形は視覚的アルファベットと比較され、複雑な形は、このアルファベットを使って書かれた単語となり、辞書に記録されるように思われる。
論文 参考訳(メタデータ) (2020-01-13T14:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。