論文の概要: PLCWorld: Benchmarking LLM-Generated PLC Programs in Closed-Loop Plant Simulation

• arxiv url: http://arxiv.org/abs/2610.02982v1
• Date: Fri, 02 Oct 2026 08:14:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.277737
• Title: PLCWorld: Benchmarking LLM-Generated PLC Programs in Closed-Loop Plant Simulation
• Title（参考訳）: PLCWorld: クローズドループプラントシミュレーションにおけるLCM生成PLCプログラムのベンチマーク
• Abstract要約: 我々は,大規模モデル(LLM)生成PLCプログラムがタスク要件と安全性の制約を満たすか否かを評価する。 私たちのコード、シミュレーション環境、ベースラインの実装はhttps://yunji.io//で公開されています。
• 参考スコア（独自算出の注目度）: 13.895236210726203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Programmable logic controllers (PLCs) coordinate industrial equipment by reading sensor inputs and issuing control commands. Evaluating whether large language model (LLM)-generated PLC programs satisfy task requirements and safety constraints requires observing how their commands affect device and workpiece states. We introduce PLCWorld, a common closed-loop execution environment and benchmark that couples Structured Text (ST) execution with simulated plant responses and sensor feedback. Grounded in control relations identified in industrial PLC programs and engineering documentation, PLCWorld contains 100 synthetic tasks and 473 registered task-condition pairs across Motion Control and Material Handling, with difficulty defined by control-dependency scope. A common protocol reports Task Success and Safety Violation separately. Validation combines practitioner review, reference and alternative programs, targeted counterexamples, specification-evaluator alignment checks, and comparisons with independent ST runtimes. Reference and alternative programs satisfy their applicable cases, while all 542 targeted counterexamples activate their designated evaluator rules under at least one registered condition. Execution Gap relates submission-profile acceptance to subsequent task failure or observed Safety Violation. Across the constructed task groups, direct GPT-5.5 achieves 82.70% Task Success on Easy cases but 25.10% on Hard cases. Evaluations of six LLMs and four adapted generation-and-verification workflows further expose differences between completion, safety, and generation cost. Our code, simulation environment, benchmark tasks, and baseline implementations are publicly available at https://yunji0516.github.io/PLCWorld/.
• Abstract（参考訳）: プログラム可能なロジックコントローラ(PLC)は、センサー入力を読み込んで制御コマンドを発行することで産業機器を調整する。 大規模言語モデル(LLM)が生成するPLCプログラムがタスク要件を満たしているかどうかを評価するには、そのコマンドがデバイスやワークピースの状態にどのように影響するかを観察する必要がある。 PLCWorldは一般的なクローズドループ実行環境とベンチマークで、Structured Text(ST)実行とシミュレートされたプラント応答とセンサフィードバックを結合する。 PLCWorldは産業用PLCプログラムとエンジニアリング文書で特定された制御関係に基づいており、100の合成タスクと473の登録されたタスク条件ペアがモーションコントロールとマテリアルハンドリングにまたがっており、制御依存性の範囲で定義が難しい。 共通プロトコルは、タスク成功と安全違反を別々に報告する。 バリデーションは、実践者によるレビュー、参照と代替プログラム、ターゲットの反例、仕様と評価のアライメントチェック、および独立したSTランタイムとの比較を組み合わせる。 参照プログラムと代替プログラムは適用可能なケースを満たすが、少なくとも1つの登録条件下では、542のターゲットの反例が指定された評価基準を活性化する。 実行ギャップ(Execution Gap)は、その後のタスク失敗や観察されたセーフティ違反に対する提出された受け入れを関連づける。 構築されたタスクグループ全体で、直接 GPT-5.5 は 82.70% のタスク成功を Easy ケースで達成しているが、ハードケースでは 25.10% である。 6つのLCMと4つの適応型生成検証ワークフローの評価により、完了、安全性、生成コストの違いが明らかになった。 私たちのコード、シミュレーション環境、ベンチマークタスク、ベースライン実装はhttps://yunji0516.github.io/PLCWorld/で公開されています。

関連論文リスト

• Self-Supervised Scaling of Terminal Environments for Scientific Domains [43.17162353852083]
  ターミナルエージェントは、科学やその他の専門分野のソフトウェア工学を超えた展開が増えている。 本稿では,既存のソフトウェアケースから参照出力と検証対象を取得するセルフアウトプット・フレームワークであるSoftware-in-the-loopについて紹介する。 SWRを6つのドメインで500から46のソフトウェアファミリでインスタンス化する。 Qwen3.8-Maxはタスク毎に3回の試行を行い、838のタスクを解決し、1,422の検証軌道を生成します。
  論文  参考訳（メタデータ） (2026-10-02T02:44:46Z)
• SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
  ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。 SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。 各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
  論文  参考訳（メタデータ） (2026-09-03T17:53:34Z)
• PLCBench: Can Autonomous LLM Agents Turn PLC Access into Sustained Physical Impact? [8.55906011630603]
  PLCBENCHは、サイバー・物理的能力とその境界を特徴付ける最初の実PLCハードウェア・イン・ザ・ループフレームワークである。 ベンダーとネイティブのインタラクション、商用のPLC実行、クローズドループのリダクションプロセスシミュレーション、独立した結果検証を組み合わせたものだ。 その結果、98エピソードは有効なネイティブ読み取りの前に停止するのに対し、62エピソードはプロセスリンクされた書き込みに到達するが、最終的な目的を維持できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-27T09:40:11Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• Agents4PLC: Automating Closed-loop PLC Code Generation and Verification in Industrial Control Systems using LLM-based Agents [27.097029139195943]
  Agents4PLCは、PLCコード生成とコードレベルの検証を自動化する新しいフレームワークである。 まず、検証可能なPLCコード生成領域のベンチマークを作成する。 そして、自然言語の要件から、人間によって記述された形式仕様と参照PLCコードへ移行する。
  論文  参考訳（メタデータ） (2024-10-18T06:51:13Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• K-ST: A Formal Executable Semantics of the Structured Text Language for PLCs [10.993724354322657]
  Kフレームワークで構造化テキスト(ST)の形式的実行可能なセマンティクスであるK-STを開発する。 K-STは高レベルの参照セマンティクスであり、異なるST実装の正確性と一貫性を評価するのに使用できる。 我々は、Githubから抽出した509のSTプログラムを実行し、既存の商用コンパイラと比較することで、K-STを検証する。
  論文  参考訳（メタデータ） (2022-02-08T17:34:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。