論文の概要: Text-to-CAD Generation Through Infusing Visual Feedback in Large Language Models

• arxiv url: http://arxiv.org/abs/2501.19054v1
• Date: Fri, 31 Jan 2025 11:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:02:52.178633
• Title: Text-to-CAD Generation Through Infusing Visual Feedback in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける視覚フィードバックの注入によるテキスト・ツー・CAD生成
• Authors: Ruiyu Wang, Yu Yuan, Shizhao Sun, Jiang Bian,
• Abstract要約: 本稿では,Large Language Models (LLM) をバックボーンとして使用するフレームワークであるCADFusionを紹介する。 CADFusionは質的にも定量的にも性能を著しく向上することを示した。
• 参考スコア（独自算出の注目度）: 8.216545561416416
• License:
• Abstract: Creating Computer-Aided Design (CAD) models requires significant expertise and effort. Text-to-CAD, which converts textual descriptions into CAD parametric sequences, is crucial in streamlining this process. Recent studies have utilized ground-truth parametric sequences, known as sequential signals, as supervision to achieve this goal. However, CAD models are inherently multimodal, comprising parametric sequences and corresponding rendered visual objects. Besides,the rendering process from parametric sequences to visual objects is many-to-one. Therefore, both sequential and visual signals are critical for effective training. In this work, we introduce CADFusion, a framework that uses Large Language Models (LLMs) as the backbone and alternates between two training stages: the sequential learning (SL) stage and the visual feedback (VF) stage. In the SL stage, we train LLMs using ground-truth parametric sequences, enabling the generation of logically coherent parametric sequences. In the VF stage, we reward parametric sequences that render into visually preferred objects and penalize those that do not, allowing LLMs to learn how rendered visual objects are perceived and evaluated. These two stages alternate throughout the training, ensuring balanced learning and preserving benefits of both signals. Experiments demonstrate that CADFusion significantly improves performance, both qualitatively and quantitatively.
• Abstract（参考訳）: CAD(Computer-Aided Design)モデルの作成には、かなりの専門知識と努力が必要である。 テキスト記述をCADパラメトリックシーケンスに変換するテキスト・トゥ・CADは,このプロセスの合理化に不可欠である。 近年の研究では、この目的を達成するために、シーケンシャルシグナルとして知られる地中トラスパラメトリックシーケンスを監督として利用している。 しかしCADモデルは本質的にマルチモーダルであり、パラメトリックシーケンスと対応する描画された視覚オブジェクトから構成される。 さらに、パラメトリックシーケンスから視覚オブジェクトへのレンダリングプロセスは多対一である。 したがって、シーケンシャル信号と視覚信号の両方が効果的な訓練に不可欠である。 本稿では,大規模言語モデル(LLM)をバックボーンとし,逐次学習(SL)段階と視覚フィードバック(VF)段階の2段階を交互に行うCADFusionを紹介する。 SL段階では,LLMを接地トラスパラメトリックシーケンスを用いて訓練し,論理的コヒーレントパラメトリックシーケンスの生成を可能にする。 VFの段階では、視覚的に好まれるオブジェクトに描画するパラメトリックシーケンスに報酬を与え、そうでないオブジェクトにペナルティを課し、LLMがどのようにレンダリングされた視覚オブジェクトが認識され、評価されるかを学ぶことができる。 これら2つの段階はトレーニングを通じて交互に行われ、バランスの取れた学習と両方の信号の利点の維持が保証される。 CADFusionは質的にも定量的にも性能を著しく向上することを示した。

関連論文リスト

• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• FineCLIPER: Multi-modal Fine-grained CLIP for Dynamic Facial Expression Recognition with AdaptERs [5.35588281968644]
  適応器を用いた動的顔表情認識のためのマルチモーダルきめ細粒度CLIP(Fine CLIPER)を提案する。 我々のFine CLIPERは、パラメータが少ないDFEW、FERV39k、MAFWデータセットで調整可能なSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-07-02T10:55:43Z)
• Enhancing Vision-Language Model with Unmasked Token Alignment [37.12838142681491]
  本稿では,既存のCLIPモデルを利用して視覚言語表現をさらに強化する手法であるUnmasked Token Alignment (UTA)を紹介する。 UTAは、ViTモデルとCLIPテキストエンコーダを自動的に整列する凍結されたCLIPビジョンエンコーダから、未マッピングの視覚トークンを対応する画像トークンに整列させることで、ViT(Vit)を訓練する。
  論文  参考訳（メタデータ） (2024-05-29T11:48:17Z)
• Learning Dynamic Tetrahedra for High-Quality Talking Head Synthesis [31.90503003079933]
  我々は、ニューラルネットワークによる明示的な動的メッシュをエンコードする新しいハイブリッド表現であるDynamic Tetrahedra(DynTet)を紹介する。 以前の研究と比較すると、DynTetは様々なメトリクスに従って忠実さ、唇の同期、リアルタイムのパフォーマンスを著しく改善している。
  論文  参考訳（メタデータ） (2024-02-27T09:56:15Z)
• Learning Visual Representation from Modality-Shared Contrastive Language-Image Pre-training [88.80694147730883]
  本稿では,多種多様なモダリティ共有コントラスト言語-画像事前学習(MS-CLIP)フレームワークについて検討する。 学習条件下では、視覚と言語信号のためのほとんど統一されたエンコーダが、より多くのパラメータを分離する他のすべてのバリエーションより優れていることが観察された。 我々のアプローチは、24の下流視覚タスクのコレクションに基づいて、線形探索においてバニラCLIPを1.6ポイント上回ります。
  論文  参考訳（メタデータ） (2022-07-26T05:19:16Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)
• E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning [31.622393984150314]
  本稿では,V+L理解と生成のための視覚言語事前学習モデルを提案する。 視覚表現と画像とテキスト間のセマンティックアライメントを共同で学習するための統合トランスフォーマーフレームワークを構築した。
  論文  参考訳（メタデータ） (2021-06-03T12:50:26Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)
• Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data Generation [88.04759848307687]
  Meta-Sim2では,パラメータに加えてシーン構造を学習することを目指している。 強化学習(Reinforcement Learning)を使用してモデルをトレーニングし、トレーニング成功の鍵となる合成画像とターゲット画像の間に特徴空間のばらつきを設計する。 また,この手法は,他のベースラインシミュレーション手法と対照的に,生成したデータセット上でトレーニングしたオブジェクト検出器の性能を下流で向上させることを示す。
  論文  参考訳（メタデータ） (2020-08-20T17:28:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。