論文の概要: Empirical Study for Structured Output Control in LLMs for Software Engineering

• arxiv url: http://arxiv.org/abs/2606.09395v1
• Date: Mon, 08 Jun 2026 12:13:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.969676
• Title: Empirical Study for Structured Output Control in LLMs for Software Engineering
• Title（参考訳）: ソフトウェア工学におけるLCMの構造出力制御に関する実証的研究
• Authors: Yewei Song, Prateek Rajput, Tiezhu Sun, Saad Ezzini, Tegawendé F. Bissyandé, Jacques Klein,
• Abstract要約: 期待されるフォーマットに反する意味論的に正しい出力は、システムの観点から、間違った答えと区別できないものである。 本報告では,4つのSEタスクにまたがる構造的信頼性の体系的評価を行う。 LLM駆動誤差における構造的忠実度と意味的正しさを両立させるアプローチの必要性を強調した。
• 参考スコア（独自算出の注目度）: 13.096361151631427
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLM-generated outputs in software engineering rarely exist in isolation. They must plug into toolchains, APIs, and data pipelines that impose strict, often organization-specific structural contracts. A semantically correct output that violates the expected format is, from the consuming system's perspective, indistinguishable from a wrong answer, making structural fidelity an operational prerequisite for deploying LLMs in practice. Yet current models routinely produce syntactically invalid or structurally non-compliant outputs. Unlike encoders, autoregressive decoders generate text token-by-token with a local rather than global focus, amplifying structural fragility whenever the target format deviates from familiar training distributions. We present a systematic evaluation of structural reliability across four representative SE tasks, categorizing failures into syntax, structural, and semantic errors. We benchmark ways of mitigation targeting the decoder: grammar-constrained decoding, regex-based validation, and a strict template-driven control (Template Token Match Generation, TTMG) to isolate the sources of these failures. TTMG nearly eliminates syntax errors, yet substantial structural and semantic errors persist, demonstrating that the core bottleneck lies beyond syntax formatting. A detailed case study further illustrates how residual errors cascade in downstream workflows. Our findings show that current structure-enforcing tools are necessary but insufficient, and highlight the need for approaches that jointly ensure structural fidelity and semantic correctness in LLM-driven workflows.
• Abstract（参考訳）: ソフトウェア工学におけるLCM生成出力は、独立して存在することは滅多にない。 厳格で組織固有の構造的契約を強制するツールチェーン、API、データパイプラインにプラグインする必要があります。 期待される形式に反する意味論的に正しい出力は、消費システムの観点から、間違った答えと区別できないものであり、構造的忠実性は、実際にLLMをデプロイするための運用上の前提条件となる。 しかし、現在のモデルは、構文的に無効または構造的に非準拠な出力を日常的に生成する。 エンコーダとは異なり、自動回帰デコーダは局所的な焦点ではなく局所的な焦点でテキストトークン・バイ・トークンを生成し、ターゲットフォーマットが慣れ親しんだトレーニングディストリビューションから逸脱するたびに構造的脆弱性を増幅する。 本報告では, 4つの代表的SEタスクにまたがる構造的信頼性の体系的評価を行い, 障害を構文, 構造的, 意味的エラーに分類する。 我々は,デコーダを対象とする緩和方法として,文法制約付き復号化,レジェックスに基づく検証,テンプレート駆動制御(テンプレートトークンマッチング生成,TTMG)をベンチマークし,これらの障害の原因を抽出する。 TTMGは構文エラーをほとんど排除するが、構造的および意味的エラーは継続する。 さらに詳細なケーススタディでは、下流ワークフローにおける残差エラーのケースケードについて説明している。 この結果から,LLM駆動ワークフローにおける構造的忠実度と意味的正当性を両立させるアプローチの必要性が示唆された。

関連論文リスト

• From Hallucination to Structure Snowballing: The Alignment Tax of Constrained Decoding in LLM Reflection [0.0]
  「大型言語モデル(LLM)における固有の自己補正は、幻覚雪球によるオープンエンド推論タスクでしばしば失敗する」 本研究は,制約付き復号法により構造的反射を純粋に強制することが,追加の訓練を伴わずに誤りの伝播を阻害するかどうかを考察する。
  論文  参考訳（メタデータ） (2026-04-07T16:47:37Z)
• FMBench: Adaptive Large Language Model Output Formatting [49.52930069696333]
  適応型マークダウン出力フォーマットのベンチマークであるFMBenchを提案する。 2つのモデルファミリーの実験は、SFTが一貫してセマンティックアライメントを改善していることを示している。 結果はまた、意味的目的と構造的目的の間に固有のトレードオフを明らかにします。
  論文  参考訳（メタデータ） (2026-02-06T04:42:06Z)
• Task-Awareness Improves LLM Generations and Uncertainty [48.857040212979484]
  ベイズ最適応答は、ビームサーチのような標準的な復号法より一貫して優れている。 我々の決定論的なフレームワークは、潜在応答構造を持つあらゆる問題に適用できる。
  論文  参考訳（メタデータ） (2026-01-29T10:16:23Z)
• Automatic Syntax Error Repair for Discrete Controller Synthesis using Large Language Model [8.741815980649667]
  本稿では,Large Language Models (LLMs) を利用してDCSモデルの構文誤りを修復する自動手法を提案する。 LLMには形式文法規則やイラストレーション例を含むDCS固有のドメイン知識が備わっており、正確な修正を導く。 人間の開発者に比べて3.46倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-12-08T07:57:15Z)
• When the Code Autopilot Breaks: Why LLMs Falter in Embedded Machine Learning [0.8880611506199766]
  我々は、形式、モデル行動、構造的仮定が成功率と失敗特性の両方にどのように影響するかを示す。 私たちの分析では、フォーマットによる誤解釈や、コンパイルされるが下流で壊れる実行時ディスラプティブコードなど、さまざまなエラーが発生しやすい挙動を明らかにしています。
  論文  参考訳（メタデータ） (2025-09-13T19:00:04Z)
• Data Dependency-Aware Code Generation from Enhanced UML Sequence Diagrams [54.528185120850274]
  本稿では,API2Depという新しいステップバイステップコード生成フレームワークを提案する。 まず、サービス指向アーキテクチャに適した拡張Unified Modeling Language (UML) APIダイアグラムを紹介します。 次に、データフローの重要な役割を認識し、専用のデータ依存推論タスクを導入する。
  論文  参考訳（メタデータ） (2025-08-05T12:28:23Z)
• Structured Prompting and Feedback-Guided Reasoning with LLMs for Data Interpretation [0.0]
  大規模言語モデル(LLM)は、自然言語の理解とタスクの一般化において顕著な能力を示した。 本稿では、構造化されたプロンプトおよびフィードバック駆動型変換ロジック生成手法であるSTROT Frameworkを紹介する。
  論文  参考訳（メタデータ） (2025-05-03T00:05:01Z)
• $\texttt{SEM-CTRL}$: Semantically Controlled Decoding [53.86639808659575]
  $texttSEM-CTRL$は、LLMデコーダに直接、リッチなコンテキスト依存制約とタスクおよびインスタンス固有のセマンティクスを強制する統一的なアプローチである。 texttSEM-CTRL$は、小さな訓練済みのLLMがより大きな変種や最先端の推論モデルよりも効率的に性能を向上することを可能にする。
  論文  参考訳（メタデータ） (2025-03-03T18:33:46Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。