論文の概要: Why Do LLMs Fail at OCL Generation? A Graph Reasoning Perspective

• arxiv url: http://arxiv.org/abs/2609.26122v1
• Date: Thu, 06 Aug 2026 22:33:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.883241
• Title: Why Do LLMs Fail at OCL Generation? A Graph Reasoning Perspective
• Title（参考訳）: LLMはなぜOCL生成に失敗するのか?
• Abstract要約: 大きな言語モデル(LLM)は、自然言語仕様やクラス図からオブジェクト制約言語(OCL)の制約を生成するために、ますます使われています。 本研究では,OCL 生成における LLM 障害の原因について検討し,クラス図上でのグラフ推論問題としてタスクをフレーミングする。 我々は, 構造特性, 語彙的類似性, 命令戦略, グラフ認識がOCLの正しさに与える影響を解析した。
• 参考スコア（独自算出の注目度）: 0.6999740786886535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly used to generate Object Constraint Language (OCL) constraints from natural language specifications and UML class diagrams. However, existing work mainly focuses on improving accuracy, with limited understanding of why these models fail. Aims. This study investigates the underlying causes of LLM failures in OCL generation, framing the task as a graph reasoning problem over UML class diagrams. Method. We conduct an empirical evaluation using the PathOCL dataset across six state-of-the-art LLMs. We analyze the impact of UML structural properties (e.g., navigation depth and model complexity), lexical similarity, prompt ordering strategies, and graph-aware prompting on OCL correctness. Results. We find that OCL generation performance significantly degrades with increasing navigation depth and structural complexity. Lexical similarity has limited influence, while textual ordering of UML elements affects performance. Graph-based prompting yields partial improvements but does not eliminate structural reasoning errors. Conclusions. OCL generation is primarily constrained by graph reasoning limitations rather than purely linguistic factors. These results highlight structural reasoning as a key bottleneck for current LLMs in model-driven engineering tasks.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、自然言語仕様やUMLクラス図からオブジェクト制約言語(OCL)の制約を生成するために、ますます使われています。 しかし、既存の研究は主に精度の向上に焦点を当てており、なぜこれらのモデルが失敗するのかを限定的に理解している。 エイムズ。 本研究では,OCL 生成における LLM 障害の原因について検討し,UML クラス図上でのグラフ推論問題としてタスクをフレーミングする。 方法。 そこで我々は,PathOCLデータセットを6つの最先端LCMにまたがって実証評価を行った。 UMLの構造特性(例えば、航法深度とモデルの複雑さ)、語彙的類似性、注文戦略の迅速化、OCLの正確性に対するグラフ認識の影響を分析する。 結果。 OCL生成性能は航法深度と構造的複雑さの増大とともに著しく低下することがわかった。 語彙的類似性は、UML要素のテキスト順序がパフォーマンスに影響を与えるのに対して、影響は限定的である。 グラフベースのプロンプトは部分的な改善をもたらすが、構造的推論エラーを排除しない。 結論。 OCL生成は主に、純粋に言語的要因ではなく、グラフ推論の制限によって制限される。 これらの結果は、モデル駆動エンジニアリングタスクにおける現在のLLMの重要なボトルネックとして、構造的推論を強調している。

関連論文リスト

• METER: Evaluating Multi-Level Contextual Causal Reasoning in Large Language Models [61.33372454250959]
  コンテキスト因果推論は、大規模言語モデルにとって重要なが難しい能力である。 既存のベンチマークでは、コンテキスト整合性を保証するか、完全な因果階層をカバーすることができない。 私たちはMETERの先駆者であり、因果はしごの3つのレベルすべてにわたってLSMを体系的にベンチマークしました。
  論文  参考訳（メタデータ） (2026-04-13T14:07:11Z)
• Counting Hypothesis: Potential Mechanism of In-Context Learning [0.4583541422554718]
  In-Context Learning (ICL) は、大量のデータに事前訓練された大規模言語モデル(LLM)が入力プロンプトの例から特定のタスクを学習できることを示している。 ICLのカウント仮説について提案し,LSMの符号化戦略がICLを弱体化させる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-02-02T05:57:33Z)
• AGRAG: Advanced Graph-based Retrieval-Augmented Generation for LLMs [15.570965946461255]
  グラフベースの検索強化生成(RAG)は構造化知識でLarge Language Models(LLMs)を増強する大きな可能性を証明している。 既存の手法では、不正確なグラフ構築、不適切な推論能力、不適切な解答の3つの重要な課題に直面している。 本稿では,高度なグラフベースの検索拡張生成フレームワークであるAGRAGを提案する。
  論文  参考訳（メタデータ） (2025-11-02T06:13:06Z)
• Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models [59.970391602080205]
  本研究では,ジェネレーション空間の制約が推論やドメイン知識の理解など,LLMの能力に影響を及ぼすかどうかを検討する。 各種共通タスクにおける自由形式の応答を生成するよりも,構造化形式に順応することが制限された場合のLLMの性能を評価する。 より厳密なフォーマット制約は、一般的に推論タスクのパフォーマンス低下につながる。
  論文  参考訳（メタデータ） (2024-08-05T13:08:24Z)
• PathOCL: Path-Based Prompt Augmentation for OCL Generation with GPT-4 [10.564949684320727]
  本稿では,Object Constraint Language生成を容易にするために設計された新しいパスベースのプロンプト拡張技術であるPathOCLを紹介する。 以上の結果から,PathOCLは完全クラスモデル(UML-Augmentation)に比較して,有効かつ正しいOCL制約を多く生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-21T02:00:54Z)
• Beyond Task Performance: Evaluating and Reducing the Flaws of Large Multimodal Models with In-Context Learning [105.77733287326308]
  我々は,3Bから80Bパラメータスケールまでの最近のオープンソースLMMを,幻覚,禁忌,構成性,説明可能性,指示に従う5つの異なる軸で評価した。 トレーニングフリーなインコンテキスト学習(ICL)をソリューションとして検討し、それがこれらの制限に与える影響について検討する。 ICL研究に基づき、ICLをさらに推し進め、Multitask-ICL、Chain-of-Hindsight-ICL、Self-Correcting-ICLといった新しい多モードICL変種を提案する。
  論文  参考訳（メタデータ） (2023-10-01T12:02:59Z)
• On Codex Prompt Engineering for OCL Generation: An Empirical Study [10.184056098238765]
  Object Constraint Language (OCL)は、MOFモデルに制約とオブジェクトクエリ式を追加する宣言型言語である。 GPT-3のような最近のLPMの進歩は、多くのNLPタスクにおいてその能力を示している。 自然言語仕様からCodexが生成するOCL制約の信頼性について検討する。
  論文  参考訳（メタデータ） (2023-03-28T18:50:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。