論文の概要: Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark

• arxiv url: http://arxiv.org/abs/2609.28449v1
• Date: Wed, 23 Sep 2026 17:46:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.13806
• Title: Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark
• Title（参考訳）: LLMは実行時の振る舞いについて推論できるか?レポジトリレベルの動的ベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、コーディングタスクでますます使われているが、コード実行について推論する能力は、まだ不明である。 SWE-Fluxは、動的実行推論のためのレポジトリレベルのベンチマークで、12の実際のPythonレポジトリに対して480の実行地上インスタンスを含む。 オラクル・ハーヴェスティング・パイプラインは入力摂動を用いて新しいベンチマーク変種を生成することができることを示す。
• 参考スコア（独自算出の注目度）: 8.443238959374133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used in coding tasks, but their ability to reason about code execution remains unclear. Existing repository-level QA benchmarks mainly evaluate static code understanding and often rely on LLM-based evaluation, while execution-reasoning benchmarks are mostly limited to snippets or functions. We introduce SWE-Flux, a repository-level benchmark for dynamic execution reasoning containing 480 execution-grounded instances across 12 real Python repositories, with gold answers automatically harvested from instrumented test executions rather than written manually or judged by LLMs. The benchmark covers singletest and multi-test questions over control flow, loops, program state, dataflow, exceptions, and program invariants. Evaluating five LLMs shows that this task remains challenging. The best model achieves only 37% accuracy. Models perform better on localized behavior such as invariants, intra-procedural control flow, exceptions, and simple loops, but struggle with dataflow, inter-procedural execution, precise state reasoning, and suite-level aggregation. Finally, we show that the oracle-harvesting pipeline can generate fresh benchmark variants using input perturbation. It successfully harvests valid variants for almost 90% of the selected instances, and the resulting variants are substantially more challenging for the evaluated models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コーディングタスクでますます使われているが、コード実行について推論する能力は、まだ不明である。 既存のリポジトリレベルのQAベンチマークは主に静的コード理解を評価し、LLMベースの評価に依存することが多い。 SWE-Fluxは、動的実行推論のためのレポジトリレベルのベンチマークで、12の実際のPythonリポジトリに480の実行グランドインスタンスを含む。 このベンチマークでは、制御フロー、ループ、プログラム状態、データフロー、例外、プログラム不変性に関するシングルテストとマルチテストの質問がカバーされている。 5つのLSMを評価することは、この課題が依然として困難であることを示している。 最高のモデルでは37%の精度しか達成できない。 モデルは、不変量、手続き内制御フロー、例外、単純なループなどのローカライズされた振る舞いを改善するが、データフロー、手続き間実行、正確な状態推論、スイートレベルの集約に苦労する。 最後に,オラクルハーヴェスティングパイプラインは入力摂動を用いて新しいベンチマーク変種を生成することができることを示す。 選択されたインスタンスの約90%で有効な変種を抽出し、その結果の変種は評価されたモデルにとってかなり困難である。

関連論文リスト

• Can LLMs Compress (and Decompress)? Evaluating Code Understanding and Execution via Invertibility [36.41073880422337]
  RoundTripCodeEval(RTCE)は、4つの異なるコード実行推論タスクからなる包括的なベンチマークである。 ゼロショットプロンプト、実行トレースの教師付き微調整、自己回帰機構を用いて、最先端のコード-LLMを体系的に評価する。 RTCEは、既存のI/O予測、実行推論、ラウンドトリップの自然言語ベンチマークによって捉えられていない、これまで測定されていなかったいくつかの新しい洞察を表面化している。
  論文  参考訳（メタデータ） (2026-01-19T21:09:48Z)
• EVM-QuestBench: An Execution-Grounded Benchmark for Natural-Language Transaction Code Generation [9.472124187479915]
  オンチェーントランザクションのシナリオでは、小さなエラーでさえ、ユーザにとって不可逆的な損失を引き起こす可能性がある。 EVM-QuestBenchは自然言語トランザクションスクリプト生成のための実行基盤ベンチマークである。 単一動作精度と複数ステップのワークフロー完了の間に永続的な非対称性を示す分割スコアを用いて,20のモデルを評価し,大きな性能ギャップを求める。
  論文  参考訳（メタデータ） (2026-01-10T13:25:27Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,グレーボックス条件下で動作可能である。 4つのベンチマークデータセットから35個の主要なオープンソースLCMのデータ漏洩度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Reasoning Runtime Behavior of a Program with LLM: How Far Are We? [25.451857140926943]
  コードのための大規模な言語モデル(LLM)は、強力なコード理解と生成能力を示している。 コード推論は、コードLLMの最も重要な能力の1つである。 本稿では,プログラム実行によるLLMのコード推論能力と一貫性を評価するためのフレームワークであるRevalを提案する。
  論文  参考訳（メタデータ） (2024-03-25T05:37:16Z)
• InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
  MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。 本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。 我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
  論文  参考訳（メタデータ） (2023-11-20T07:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。