論文の概要: A Validated Dataset and Benchmark for Coherent Multi-Diagram SysML Models

• arxiv url: http://arxiv.org/abs/2610.07356v1
• Date: Mon, 05 Oct 2026 20:23:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.652098
• Title: A Validated Dataset and Benchmark for Coherent Multi-Diagram SysML Models
• Title（参考訳）: Coherent Multi-Diagram SysMLモデルに対する検証データセットとベンチマーク
• Abstract要約: 3000のエンジニアリングコンテキストと15,000のダイアグラムのデータセットであるSEMAADBを紹介します。 各コンテキストには、Requireement、Block Definition、Activity、State Machine、Sequenceの5つの接続されたSysMLビューが含まれている。 100のコンテキストのセットも人間検証され、ベンチマークテストセットを形成します。
• 参考スコア（独自算出の注目度）: 1.8422153315741132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Systems engineers use several diagrams to describe the structure and behavior of systems. Engineers create these diagrams together to make sure that they use the same elements and remain consistent with one another. Large language models can generate diagrams as text or code, which makes it possible to create system diagrams automatically. However, their ability to generate coherent sets of diagrams is not well understood, and existing datasets and benchmarks do not directly measure this ability at scale. We introduce SEMAADB (Systems Engineering Modeling Assistant with AI Dataset and Benchmark), a dataset of 3,000 engineering contexts and 15,000 diagrams. Each context contains five connected SysML views: Requirement, Block Definition, Activity, State Machine, and Sequence. Here, a view is a diagram that presents one aspect of a system. We checked the diagram sets for consistency and valid rendering. A set of 100 contexts is also human-verified and forms the benchmark test set. We evaluate three language models on two tasks. In diagram repair, the strongest model repairs 64.3% of semantic errors . In cross-diagram update the best propagation F1 is 80.7% when a model applies one change across related diagrams. The results show that syntax repair is nearly solved, but semantic repair and consistency across diagrams are still challenging tasks for models. SEMAADB therefore provides both a large diagram resource and a set of benchmarks for measuring coherent multi-diagram SysML generation.
• Abstract（参考訳）: システムエンジニアは、システムの構造と振舞いを記述するためにいくつかの図を使用する。 エンジニアは、同じ要素を使用して互いに一貫性を保つために、これらの図をまとめて作成します。 大規模言語モデルは、テキストやコードとしてダイアグラムを生成することができるため、システムダイアグラムを自動生成することができる。 しかしながら、コヒーレントなダイアグラムを生成する能力は十分に理解されておらず、既存のデータセットやベンチマークは、この能力を大規模に測定することができない。 3000のエンジニアリングコンテキストと15,000の図からなるデータセットであるSEMAADB(Systems Engineering Modeling Assistant with AI Dataset and Benchmark)を紹介する。 各コンテキストには、Requireement、Block Definition、Activity、State Machine、Sequenceの5つの接続されたSysMLビューが含まれている。 ここで、ビューはシステムの1つの側面を示すダイアグラムです。 一貫性と有効なレンダリングのために、図セットをチェックしました。 100のコンテキストのセットも人間検証され、ベンチマークテストセットを形成します。 2つのタスクで3つの言語モデルを評価する。 ダイアグラム修復では、最強のモデルが64.3%のセマンティックエラーを修復する。 クロスダイアグラム更新では、モデルが関連するダイアグラムに1つの変更を加えると、最高の伝播F1が80.7%となる。 その結果、構文修復はほぼ解決されているが、ダイアグラム間のセマンティックな修復と一貫性は、モデルにとって依然として難しい課題であることがわかった。 したがってSEMAADBは、コヒーレントなマルチダイアグラムSysML生成を測定するための大きなダイアグラムリソースとベンチマークのセットの両方を提供する。

関連論文リスト

• Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams [53.28039059333946]
  科学図解析と理解のためのMLLMの能力を評価するためのベンチマークを構築した。 ダイアグラム-MMUは6つの領域にわたる3.7kのキュレートダイアグラムと18.3kの人間による質問を特徴としている。 ワークスペースを書くのに共通する3つのタスク(ダイアグラムからコードへのパース、ダイアグラムからコードへの編集、ダイアグラムへの質問応答)でMLLMを評価する。
  論文  参考訳（メタデータ） (2026-08-12T17:04:13Z)
• Query2Diagram: Answering Developer Queries with UML Diagrams [7.42369031190836]
  クエリ駆動型ダイアグラム生成を導入する。 コードファイルのキュレートされたデータセット上でQwen2.5-Coder-14Bを微調整する。 その結果,手動で修正したデータの微調整により,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2026-04-26T17:34:43Z)
• MCeT: Behavioral Model Correctness Evaluation using Large Language Models [4.34964016971127]
  AIモデリングアシスタントとしてのLarge Language Models(LLM)の利用の増加に伴い、ダイアグラムの生成により多くの自動化が関与するようになる。 本稿では,行動モデル,特にシーケンス図の正しさを,対応する要求テキストに対して評価する最初の完全自動化ツールMCeTを提案する。
  論文  参考訳（メタデータ） (2025-08-01T13:41:58Z)
• AutoSchemaKG: Autonomous Knowledge Graph Construction through Dynamic Schema Induction from Web-Scale Corpora [51.77079220622184]
  完全自律的な知識グラフ構築のためのフレームワークであるAutoKGを提案する。 大規模言語モデルを利用して知識トリプルを同時に抽出し,テキストから直接包括的なスキーマを誘導する。 我々は,9億以上のノードと590億のエッジを持つ知識グラフ群であるATLAS(Automated Triple Linking And induction)を構築した。
  論文  参考訳（メタデータ） (2025-05-29T16:34:58Z)
• DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning [62.51232333352754]
  テキスト・ツー・イメージ(T2I)世代はここ数年で著しい成長を遂げている。 それにもかかわらず、T2Iモデルでダイアグラムを生成する作業はほとんど行われていない。 本稿では,新しい2段階のテキスト・ツー・ダイアグラム生成フレームワークであるDiagrammerGPTを紹介する。 我々のフレームワークは、既存のT2Iモデルを上回る精度で、より正確なダイアグラムを生成する。
  論文  参考訳（メタデータ） (2023-10-18T17:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。