論文の概要: PLSEMANTICSBENCH: Large Language Models As Programming Language Interpreters

• arxiv url: http://arxiv.org/abs/2510.03415v1
• Date: Fri, 03 Oct 2025 18:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.029273
• Title: PLSEMANTICSBENCH: Large Language Models As Programming Language Interpreters
• Title（参考訳）: PLSEMANTICSBENCH: プログラム言語インタープリタとしての大規模言語モデル
• Authors: Aditya Thimmaiah, Jiyang Zhang, Jayanth Srinivasa, Junyi Jessy Li, Milos Gligoric,
• Abstract要約: 大規模言語モデル(LLMs)がコード推論に長けているため、自然な疑問が生じる: LLMはプログラム(つまり、インタプリタとして振舞う)を純粋にプログラミング言語の形式的意味論に基づいて実行できるか? 本稿では, 命令型言語IMPを用いて, 小ステップ操作意味論 (SOS) と書き直しに基づく操作意味論 (K-semantics) によって定式化されている問題について検討する。 本稿では,Human-Written,LLM-Translated,Fuzzer-Generatedの3つの評価セットを提案する。
• 参考スコア（独自算出の注目度）: 31.611330217819713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) excel at code reasoning, a natural question arises: can an LLM execute programs (i.e., act as an interpreter) purely based on a programming language's formal semantics? If so, it will enable rapid prototyping of new programming languages and language features. We study this question using the imperative language IMP (a subset of C), formalized via small-step operational semantics (SOS) and rewriting-based operational semantics (K-semantics). We introduce three evaluation sets-Human-Written, LLM-Translated, and Fuzzer- Generated-whose difficulty is controlled by code-complexity metrics spanning the size, control-flow, and data-flow axes. Given a program and its semantics formalized with SOS/K-semantics, models are evaluated on three tasks ranging from coarse to fine: (1) final-state prediction, (2) semantic rule prediction, and (3) execution trace prediction. To distinguish pretraining memorization from semantic competence, we define two nonstandard semantics obtained through systematic mutations of the standard rules. Across strong code/reasoning LLMs, performance drops under nonstandard semantics despite high performance under the standard one. We further find that (i) there are patterns to different model failures, (ii) most reasoning models perform exceptionally well on coarse grained tasks involving reasoning about highly complex programs often containing nested loop depths beyond five, and surprisingly, (iii) providing formal semantics helps on simple programs but often hurts on more complex ones. Overall, the results show a promise that LLMs could serve as programming language interpreters, but points to the lack of their robust semantics understanding. We release the benchmark and the supporting code at https://github.com/EngineeringSoftware/PLSemanticsBench.
• Abstract（参考訳）: 大規模言語モデル(LLMs)がコード推論に長けているため、自然な疑問が生じる: LLMはプログラム(つまり、インタプリタとして振舞う)を純粋にプログラミング言語の形式的意味論に基づいて実行できるか? もしそうなら、新しいプログラミング言語と言語機能の迅速なプロトタイピングを可能にするだろう。 本稿では,命令型言語IMP(Cの部分集合)を用いて,小段階の操作意味論 (SOS) と書き直しに基づく操作意味論 (K-semantics) によって定式化した。 本稿では,Human-Written,LLM-Translated,Fuzzer-Generatedの3つの評価セットを提案する。 プログラムとその意味論をSOS/Kセマンティックスで定式化した上で,(1)最終状態予測,(2)セマンティックルール予測,(3)実行トレース予測の3つのタスクでモデルを評価する。 事前学習した暗記と意味的能力とを区別するために、標準規則の体系的な突然変異によって得られた2つの非標準意味論を定義する。 強いコード/推論 LLM では、標準的なものでは高いパフォーマンスにもかかわらず、非標準セマンティクスではパフォーマンスが低下する。 私たちはさらにそれを発見します。 (i)異なるモデル失敗のパターンがあります。 (II)ほとんどの推論モデルは、しばしば5つ以上のネストループ深さを含む非常に複雑なプログラムの推論を含む粗いきめ細かなタスクにおいて、非常によく機能する。 三 形式的意味論を提供することは、単純なプログラムに役立つが、しばしばより複雑なプログラムに害を与える。 全体として、LLMはプログラミング言語のインタプリタとして機能するが、堅牢なセマンティクス理解の欠如が指摘されている。 私たちはベンチマークとサポートコードをhttps://github.com/EngineeringSoftware/PLSemanticsBench.comでリリースします。

関連論文リスト

• On Code-Induced Reasoning in LLMs [21.875805779552564]
  並列命令データセットを10のプログラミング言語で構築する。 コードの構造的・意味的特性を選択的に破壊する制御摂動を適用する。 以上の結果から,LLMは意味論的よりも構造的摂動に弱いことが示唆された。
  論文  参考訳（メタデータ） (2025-09-25T19:57:36Z)
• Re:Form -- Reducing Human Priors in Scalable Formal Software Verification with RL in LLMs: A Preliminary Study on Dafny [68.00108157244952]
  強化学習(RL)で訓練された大規模言語モデル(LLM)は、信頼性も拡張性もない、という大きな課題に直面している。 有望だが、ほとんど報われていない代替手段は、フォーマルな言語ベースの推論である。 生成モデルが形式言語空間(例えばダフニー)で機能する厳密な形式体系におけるLLMの接地は、それらの推論プロセスと結果の自動的かつ数学的に証明可能な検証を可能にする。
  論文  参考訳（メタデータ） (2025-07-22T08:13:01Z)
• Type-Constrained Code Generation with Language Models [51.03439021895432]
  本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。 そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。 提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-12T15:03:00Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Synthetic Programming Elicitation for Text-to-Code in Very Low-Resource Programming and Formal Languages [21.18996339478024]
  SPEAC(emphsynthetic programming elicitation and compilation)を紹介する。 SPEACは、より頻繁に、意味的正しさを犠牲にすることなく、構文的に正しいプログラムを生成する。 UCLID5形式検証言語のケーススタディにおいて,SPEACの性能を実証的に評価した。
  論文  参考訳（メタデータ） (2024-06-05T22:16:19Z)
• CodeMind: Evaluating Large Language Models for Code Reasoning [6.819757372634151]
  大規模言語モデル(LLM)は、プログラミングタスクの自動化に広く使われている。 本稿では,LLMのコード推論能力を評価するためのフレームワークであるCodeMindを紹介する。
  論文  参考訳（メタデータ） (2024-02-15T02:24:46Z)
• Coupling Large Language Models with Logic Programming for Robust and General Reasoning from Text [5.532477732693001]
  大規模言語モデルは, 意味論的に非常に効果的な数ショットとして機能することを示す。 自然言語文を論理形式に変換し、応答集合プログラムの入力として機能する。 本手法は,bAbI, StepGame, CLUTRR, gSCAN など,いくつかのベンチマークにおいて最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-07-15T03:29:59Z)
• Few-Shot Semantic Parsing with Language Models Trained On Code [52.23355024995237]
  Codexは同等のGPT-3モデルよりもセマンティックパーシングが優れていることがわかった。 GPT-3とは異なり、Codexは意味表現を直接ターゲットとする場合、おそらく意味解析で使われる意味表現がコードと似た構造になっているように、同じように機能する。
  論文  参考訳（メタデータ） (2021-12-16T08:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。