論文の概要: From Image to UML: First Results of Image Based UML Diagram Generation Using LLMs

• arxiv url: http://arxiv.org/abs/2404.11376v2
• Date: Tue, 18 Jun 2024 08:34:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 01:44:57.440130
• Title: From Image to UML: First Results of Image Based UML Diagram Generation Using LLMs
• Title（参考訳）: 画像からUMLへ:LLMを用いた画像ベースUMLダイアグラム生成の第一結果
• Authors: Aaron Conrardy, Jordi Cabot,
• Abstract要約: ソフトウェア工学のプロセスでは、システムはまずモデリング言語を使って指定される。 大規模言語モデル(LLM)は、与えられた図面からUMLモデルの形式表現を生成するために使用される。 より具体的には、クラス図の画像を画像に表される実際のモデルに変換するための異なるLCMの能力を評価した。
• 参考スコア（独自算出の注目度）: 1.961305559606562
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In software engineering processes, systems are first specified using a modeling language such as UML. These initial designs are often collaboratively created, many times in meetings where different domain experts use whiteboards, paper or other types of quick supports to create drawings and blueprints that then will need to be formalized. These proper, machine-readable, models are key to ensure models can be part of automated processes (e.g. input of a low-code generation pipeline, a model-based testing system, ...). But going from hand-drawn diagrams to actual models is a time-consuming process that sometimes ends up with such drawings just added as informal images to the software documentation, reducing their value a lot. To avoid this tedious task, we explore the usage of Large Language Models (LLM) to generate the formal representation of (UML) models from a given drawing. More specifically, we have evaluated the capabilities of different LLMs to convert images of UML class diagrams into the actual models represented in the images. While the results are good enough to use such an approach as part of a model-driven engineering pipeline we also highlight some of their current limitations and the need to keep the human in the loop to overcome those limitations.
• Abstract（参考訳）: ソフトウェア工学のプロセスでは、システムはUMLのようなモデリング言語を使って最初に特定される。 これらの初期設計は、しばしば共同で作成され、様々なドメインの専門家がホワイトボードや紙、その他のクイックサポートを使って図面や青写真を作成するミーティングで、形式化する必要がある。 これらの適切なマシン可読なモデルは、モデルが自動化プロセスの一部になることを保証するための鍵となります(例えば、ローコード生成パイプライン、モデルベースのテストシステム、...)。 しかし、手描き図から実際のモデルへの移行は、時々ソフトウェアドキュメントに非公式の画像として追加され、その価値が大幅に削減されるという、時間を要するプロセスです。 この面倒な作業を避けるため、与えられた図面からUMLモデルの形式表現を生成するために、LLM(Large Language Models)の使用法を検討する。 より具体的には、UMLクラス図の画像を、画像に表される実際のモデルに変換する異なるLLMの能力を評価した。 結果は、モデル駆動のエンジニアリングパイプラインの一部としてそのようなアプローチを使用するのに十分ですが、現在の制限と、これらの制限を克服するために人間をループに留める必要性を強調します。

関連論文リスト

• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルで効果的なアプローチであるDEEMを提案する。 DEEMは、訓練可能なパラメータを少なくし、事前訓練データが少なく、ベースモデルのサイズを小さくし、幻覚を緩和するための強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• Assessing GPT-4-Vision's Capabilities in UML-Based Code Generation [0.5789654849162464]
  GPT-4-Visionは最先端のディープラーニングモデルである。 UML(Unified Modeling Language)クラスダイアグラムを完全なJavaクラスファイルに変換することができる。
  論文  参考訳（メタデータ） (2024-04-22T17:21:24Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• Sequential Modeling Enables Scalable Learning for Large Vision Models [120.91839619284431]
  本稿では,言語データを用いずにLVM(Large Vision Model)を学習できる新しい逐次モデリング手法を提案する。 我々は、生画像やビデオや注釈付きデータソースを表現できる共通フォーマット「視覚文」を定義した。
  論文  参考訳（メタデータ） (2023-12-01T18:59:57Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• Implementing and Experimenting with Diffusion Models for Text-to-Image Generation [0.0]
  DALL-E 2 と Imagen という2つのモデルでは、画像の単純なテキスト記述から高画質の画像を生成できることが示されている。 テキスト・ツー・イメージのモデルは、トレーニングに必要な膨大な計算リソースと、インターネットから収集された巨大なデータセットを扱う必要がある。 この論文は、これらのモデルが使用するさまざまなアプローチとテクニックをレビューし、それから、テキスト・ツー・イメージ・モデルの独自の実装を提案することで貢献する。
  論文  参考訳（メタデータ） (2022-09-22T12:03:33Z)
• Meta Internal Learning [88.68276505511922]
  単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。 本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。 以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。