論文の概要: The Impact of Critique on LLM-Based Model Generation from Natural Language: The Case of Activity Diagrams

• arxiv url: http://arxiv.org/abs/2509.03463v1
• Date: Wed, 03 Sep 2025 16:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.596787
• Title: The Impact of Critique on LLM-Based Model Generation from Natural Language: The Case of Activity Diagrams
• Title（参考訳）: 自然言語からのLCMモデル生成に対する批判の影響:活動図の場合
• Authors: Parham Khamsepour, Mark Cole, Ish Ashraf, Sandeep Puri, Mehrdad Sabetzadeh, Shiva Nejati,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語記述からモデル生成を自動化する強力な可能性を示している。 LLM-driven critique-refine process を用いて、自然言語によるプロセス記述からアクティビティ図を導出するパイプライン LADEX を提案する。
• 参考スコア（独自算出の注目度）: 1.3252590516094356
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) show strong potential for automating the generation of models from natural-language descriptions. A common approach is an iterative generate-critique-refine loop, where candidate models are produced, evaluated, and updated based on detected issues. This process needs to address: (1) structural correctness - compliance with well-formedness rules - and (2) semantic alignment - accurate reflection of the intended meaning in the source text. We present LADEX (LLM-based Activity Diagram Extractor), a pipeline for deriving activity diagrams from natural-language process descriptions using an LLM-driven critique-refine process. Structural checks in LADEX can be performed either algorithmically or by an LLM, while alignment checks are always performed by an LLM. We design five ablated variants of LADEX to study: (i) the impact of the critique-refine loop itself, (ii) the role of LLM-based semantic checks, and (iii) the comparative effectiveness of algorithmic versus LLM-based structural checks. To evaluate LADEX, we compare the generated activity diagrams with expert-created ground truths using trace-based operational semantics. This enables automated measurement of correctness and completeness. Experiments on two datasets indicate that: (1) the critique-refine loop improves structural validity, correctness, and completeness compared to single-pass generation; (2) algorithmic structural checks eliminate inconsistencies that LLM-based checks fail to detect, improving correctness by an average of 17.81% and completeness by 13.24% over LLM-only checks; and (3) combining algorithmic structural checks with LLM-based semantic checks, implemented using the reasoning-focused O4 Mini, achieves the best overall performance - yielding average correctness of up to 86.37% and average completeness of up to 88.56% - while requiring fewer than five LLM calls on average.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語記述からモデル生成を自動化する強力な可能性を示している。 一般的なアプローチは、検出された問題に基づいて候補モデルを生成、評価、更新する反復生成-批判-再定義ループである。 このプロセスは,(1) 構造的正当性 - 整形性規則の遵守 - (2) 意味的アライメント - ソースコードの意図した意味を正確に反映する。 LLM-driven critique-refine process を用いた自然言語プロセス記述からアクティビティ図を導出するパイプライン LADEX (LLM-based Activity Diagram Extractor) を提案する。 LADEX の構造チェックはアルゴリズムまたは LLM で行うことができ、アライメントチェックは LLM で行うことができる。 我々は、LADEXの5つの改良版を設計し、研究する。 (i)批判再定義ループ自体の影響。 (二)LLMに基づく意味チェックの役割、及び (iii)アルゴリズムとLLMに基づく構造チェックの比較の有効性。 LADEXを評価するために,得られた活動図と専門家が作成した地上の真実をトレースベースの操作意味論を用いて比較する。 これにより、正確性と完全性の自動測定が可能になる。 2つのデータセットの実験では、(1)批判-精細ループは単一パス生成と比較して構造的妥当性、正当性、完全性を向上し、(2)アルゴリズム的構造チェックはLLMベースのチェックが検出できない不整合を排除し、平均で17.81%、完全性は13.24%向上し、(3)アルゴリズム的構造チェックとLLMベースのセマンティックチェックを組み合わせ、推論に焦点をあてたO4 Miniを使用して、アルゴリズム的構造チェックは、平均で86.37%、平均的完全性は88.56%に抑えられる。

関連論文リスト

• Automatic Posology Structuration : What role for LLMs? [1.0445560141983634]
  自由文ポソジを構造化形式に変換するために,Large Language Models (LLM) の利用について検討する。 提案手法は,性能向上に寄与するが,ベースラインの精度は微調整LLMのみである。 そこで我々は,NERL から LLM へ低信頼度ケースをルーティングし,信頼度スコアに基づいて出力を選択するハイブリッドパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-06-24T11:25:21Z)
• Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving [55.895917967408586]
  大規模な言語モデルによる数学的推論への既存のアプローチは、一般化可能性(英語版)にはChain-of-Thought(英語版)(CoT)、正確な計算にはTool-Integrated Reasoning(英語版)(TIR)に依存している。 本稿では, LLM が自然に推論戦略をパーソナライズできる適応型フレームワークである TATA (Teaching LLMs according their Aptitude) を提案する。
  論文  参考訳（メタデータ） (2025-02-17T16:56:23Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• LEAF: Learning and Evaluation Augmented by Fact-Checking to Improve Factualness in Large Language Models [11.453585039783901]
  LEAF: Fact-Checkingによって強化された学習と評価は、大規模言語モデル(LLM)の現実的信頼性を高めるために設計された新しいアプローチである。 最初の戦略であるFact-Check-Then-RAGは、ファクトチェック結果を取り入れて、モデルパラメータを更新せずに検索プロセスをガイドすることによって、検索精度を向上させる。 第2の戦略であるLearning from Fact-Checks via Self-Trainingは、ファクトチェックされた応答の監督された微調整(SFT)や、ファクトチェックをランキングメカニズムとして適用するSimple Preference Optimization(SimPO)である。
  論文  参考訳（メタデータ） (2024-10-31T00:18:05Z)
• GRATH: Gradual Self-Truthifying for Large Language Models [63.502835648056305]
  GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。 GRATHは、反復的に真理データを洗練し、モデルを更新する。 GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
  論文  参考訳（メタデータ） (2024-01-22T19:00:08Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。