論文の概要: Predicting Program Exit Code with LLMs and Programming Language Semantics

• arxiv url: http://arxiv.org/abs/2609.00579v1
• Date: Tue, 01 Sep 2026 02:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.240304
• Title: Predicting Program Exit Code with LLMs and Programming Language Semantics
• Title（参考訳）: LLMとプログラミング言語セマンティックスによるプログラム実行コード予測
• Authors: Lara Marinov, Aditya Thimmaiah, Jayanth Srinivasa, Junyi Jessy Li, Milos Gligoric,
• Abstract要約: 大規模言語モデル(LLM)は、コード生成や翻訳など、様々なソフトウェアエンジニアリングタスクに習熟している。 我々は, LLM が先行性に依存しているか, あるいは与えられた意味に新しいタスクで依存しているか---Program Executability Prediction (PrEx) PrExはプログラムの構文と操作上の意味を考慮し、プログラムが意味論的に有効か無効かを予測するようモデルに求める。
• 参考スコア（独自算出の注目度）: 30.704430242434913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown proficiency in various software engineering tasks, such as code generation and translation. However, a key limitation in their performance may be their (lack of) understanding of programming-language semantics. Even when explicit semantics are given, it remains unclear whether LLMs apply those rules or lean on priors learned during pre-training instead. We study if LLMs lean on priors or given semantics with a novel task--Program Executability Prediction (PrEx)--that asks models to predict whether a program is semantically valid or invalid (and, if invalid, which formal rule it violates) given the program's syntax and operational semantics. Because PrEx requires both valid and invalid programs, we build a dataset with systematically generated invalid transformations derived from valid programs. We evaluate open-source coding LLMs under two semantic formalisms and two semantic shifts across Human-Written, LLM-Translated, and Fuzzer-Generated program splits. Our findings show that LLMs lean on pre-training priors rather than systematically applying the given rules, performing especially poorly on modified semantics and degrading further as program complexity increases. PrEx is available at https://github.com/EngineeringSoftware/prex.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成や翻訳など、様々なソフトウェアエンジニアリングタスクに習熟している。 しかし、パフォーマンスにおける重要な制限は、プログラミング言語のセマンティクスに対する理解の欠如である。 明示的なセマンティクスが与えられたとしても、LCMがこれらのルールを適用したのか、あるいは事前トレーニングで学んだ事前に頼っているのかは、まだ不明である。 プログラムの構文や操作のセマンティクスからプログラムが意味論的に有効か無効か(無効か)をモデルに求める。 PrExは有効なプログラムと無効なプログラムの両方を必要とするため、有効なプログラムから派生した、体系的に生成された無効な変換を持つデータセットを構築する。 我々は,2つの意味論的形式と2つの意味的シフトに基づくオープンソースのLLMの評価を行った。 以上の結果から, LLMは与えられたルールを体系的に適用するのではなく, 事前学習に頼っていることが明らかとなった。 PrExはhttps://github.com/EngineeringSoftware/prex.comで入手できる。

関連論文リスト

• PLSemanticsBench: Large Language Models As Programming Language Interpreters [31.611330217819713]
  大規模言語モデル(LLMs)がコード推論に長けているため、自然な疑問が生じる: LLMはプログラム(つまり、インタプリタとして振舞う)を純粋にプログラミング言語の形式的意味論に基づいて実行できるか? 本稿では, 命令型言語IMPを用いて, 小ステップ操作意味論 (SOS) と書き直しに基づく操作意味論 (K-semantics) によって定式化されている問題について検討する。 本稿では,Human-Written,LLM-Translated,Fuzzer-Generatedの3つの評価セットを提案する。
  論文  参考訳（メタデータ） (2025-10-03T18:23:26Z)
• Can LLMs Reason About Program Semantics? A Comprehensive Evaluation of LLMs on Formal Specification Inference [0.9319432628663639]
  大規模言語モデル(LLM)は、プログラミングタスクの自動化にますます使われています。 本稿では,プログラム意味論におけるLLMの推論能力を評価するためのベンチマークであるFormalBenchを紹介する。 このベンチマークを用いて、一貫した仕様と完全な仕様を合成するLLMの能力を評価した。
  論文  参考訳（メタデータ） (2025-02-22T13:27:31Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• Learning to Plan with Natural Language [111.76828049344839]
  大規模言語モデル(LLM)は、様々な基本自然言語タスクにおいて顕著な性能を示している。 複雑なタスクを完了するためには、ステップごとに特定のソリューションを生成するためにLCMをガイドするタスクの計画が必要です。 本研究では,(1)第1学習課題計画フェーズにおいて,LCMが学習エラーフィードバックから導出するように促した新たなステップバイステップのソリューションと行動指示を用いてタスク計画を反復的に更新する,という2つの段階を含む学習計画手法を提案する。
  論文  参考訳（メタデータ） (2023-04-20T17:09:12Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)
• How could Neural Networks understand Programs? [67.4217527949013]
  ソースコードにnlpプリトレーニング技術を直接適用するか、あるいはtheshelfによってモデルに機能を追加するかで、プログラムをより理解するためのモデルを構築するのは難しい。 本研究では,(1)操作セマンティクスの基本操作とよく一致する表現と(2)環境遷移の情報からなる情報から,モデルが学ぶべき新しいプログラムセマンティクス学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T12:21:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。