論文の概要: Compilation Is Not Correctness: Scan-by-Scan Evaluation of LLM-Generated PLC Programs

• arxiv url: http://arxiv.org/abs/2610.28675v1
• Date: Mon, 19 Oct 2026 09:16:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.098543
• Title: Compilation Is Not Correctness: Scan-by-Scan Evaluation of LLM-Generated PLC Programs
• Title（参考訳）: コンパイルは正確ではない:LCM生成PLCプログラムのスキャン・バイ・スキャン評価
• Abstract要約: プログラム可能なロジックコントローラ(PLC)は、繰り返しスキャン、各読み取り入力、制御ロジックの実行、出力の更新を通じて産業プロセスを自動化する。 エンジニアはこのロジックをIEC 61131-3で定義された高レベルテキスト言語であるStructured Text (ST)で記述している。 動作要件,公開インターフェース,参照プログラム,実行シナリオを備えた301STタスクのベンチマークであるCycleBenchを紹介する。
• 参考スコア（独自算出の注目度）: 10.094897165716313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Programmable logic controllers (PLCs) automate industrial processes through repeated scans, each reading inputs, executing control logic, and updating outputs. Engineers write this logic in Structured Text (ST), a high-level textual language defined in IEC 61131-3. Large language models (LLMs) can now generate ST from natural-language requirements, yet compilation success and checks on selected properties or sampled scans can leave behavioral errors undetected. We introduce CycleBench, a benchmark of 301 ST tasks with behavioral requirements, public interfaces, reference programs, and executable scenarios. Its runtime executes each generated program and its reference under aligned inputs, initialization, and logical time, comparing their outputs after every scan. Across eight LLMs and baseline generation methods, execution pass rate trails compilation pass rate by 11.92 percentage points; observed failures include output-update, arithmetic, and timing errors. On fixed traces of programs directly generated by five LLMs, checking outputs only at every fifth scan misses 21.66% of the 157 failures detected by per-scan comparison; across sampling phases, the missed-failure rate ranges from 12.10% to 28.03%. These misses stem from transient output discrepancies, whose detection depends on the sampling phase. Building on this evaluation, we propose CycleGen, which generates multiple candidate ST programs, repairs their compilation errors with bounded compiler feedback, and selects one using runtime self-tests generated in a separate model context. CycleGen improves the execution pass rate over direct generation by 8.68 percentage points. Component ablations distinguish repair and self-test selection; candidate-count analysis shows diminishing returns, with no execution-pass-rate improvement beyond five candidates in our experiments despite 38.8% higher token consumption at eight.
• Abstract（参考訳）: プログラム可能なロジックコントローラ(PLC)は、繰り返しスキャン、各読み取り入力、制御ロジックの実行、出力の更新を通じて産業プロセスを自動化する。 エンジニアはこのロジックをIEC 61131-3で定義された高レベルテキスト言語であるStructured Text (ST)で記述している。 大きな言語モデル(LLM)は、自然言語の要求からSTを生成することができるが、コンパイルの成功と選択されたプロパティのチェックやサンプルスキャンは、検出されていない振る舞いエラーを残すことができる。 動作要件,公開インターフェース,参照プログラム,実行シナリオを備えた301STタスクのベンチマークであるCycleBenchを紹介する。 そのランタイムは、各生成されたプログラムとその参照を、一致した入力、初期化、論理時間の下で実行し、スキャン毎に出力を比較する。 8つのLCMとベースライン生成方法にまたがって、実行パスパスパスはコンパイルパス率を11.92ポイント削減する。 5つのLCMが直接生成するプログラムの固定トレースでは、スキャン毎に検出された157の障害のうち、出力を5回ごとにチェックすると21.66%のエラーが発生する。 これらのミスは、サンプリングフェーズに依存する過渡的な出力の相違に由来する。 この評価に基づいて,複数の候補STプログラムを生成するCycleGenを提案し,そのコンパイルエラーを有界コンパイラフィードバックで修復し,独立したモデルコンテキストで生成された実行時自己テストを用いて選択する。 CycleGenは、直接生成よりも実行パス率を8.68ポイント改善する。 コンポーネントの短縮は修復と自己テストの選択を区別する; 候補数分析ではリターンが減少し、38.8%のトークン使用率にもかかわらず、我々の実験では5つの候補以上の実行パス率の改善はない。

関連論文リスト

• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• Robustness of LLM-Generated SystemVerilog Assertions to Semantics-Preserving RTL Transformations [0.0]
  大規模言語モデル(LLM)は、SystemVerilog Assertion(SVA)の自動生成のために、ますます研究されている。 ほとんどの評価では、入力の単一の構文表現に正確さを報告している。 そのような点の精度は、モデルの正しい出力が同じRTLの振る舞いが異なる場合に安定であるかどうかを明らかにしない。
  論文  参考訳（メタデータ） (2026-09-04T18:41:58Z)
• Test-Time Scaling via Error Localization [15.13459650752427]
  大規模言語モデルの性能向上のための信頼性の高い手法として,推論時間計算のスケーリングが登場している。 固定あるいは環境フィードバックを利用してトークンレベルのエラーローカライゼーションを行う推論時アルゴリズムであるTTEL(Test-Time Scaling via Error Localization)を導入する。
  論文  参考訳（メタデータ） (2026-07-23T15:55:29Z)
• Code-Guided Reasoning for Small Language Models: Evaluating Executable MCQA Scaffolds [14.64394876057282]
  評価プロトコルと生成プログラムリソースであるCode-Guided Reasoning (CGR)を紹介する。 CGRは6つのコンポーネントを標準化している: 正規化されたアイテムインターフェース、直接解決プロンプト、ジェネレータプロンプト、Pythonの足場、ソルバコールと抽出ヘルパー、3チャンネルの結果レコード。 20,498行のMCQAバンドルと6つのメタデータ登録ソルバモデルからの保存結果行に対して、観測された非ゼロベースライン分割は66.21%のマクロアシスト精度と38.11%の直接精度を示している。
  論文  参考訳（メタデータ） (2026-05-12T20:20:06Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Algorithm-Based Pipeline for Reliable and Intent-Preserving Code Translation with LLMs [3.4257278503723576]
  直接一発翻訳は、しばしばプログラム意図を保存するのに失敗し、制御フローのエラー、型ハンドリング、I/O動作を引き起こす。 本稿では,言語ニュートラルな中間仕様を導入し,これらの詳細をコード生成前にキャプチャするアルゴリズムベースのパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-02-18T00:34:29Z)
• Taming Imperfect Process Verifiers: A Sampling Perspective on Backtracking [54.43083499412643]
  言語モデルの生成能力をプロセス検証器と組み合わせたテストタイムアルゴリズムは、新しい推論能力を引き出すための有望なレバーを提供する。 提案手法は, 理論的に根拠付きバックトラックを用いて, 検証誤差に対して, 確実な堅牢性を実現するための新しいプロセス誘導型テスト時間サンプリングアルゴリズムであるVGBを導入する。
  論文  参考訳（メタデータ） (2025-10-03T16:21:14Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。