論文の概要: The Path Not Taken: Duality in Reasoning about Program Execution
- arxiv url: http://arxiv.org/abs/2604.20917v1
- Date: Wed, 22 Apr 2026 03:20:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.092842
- Title: The Path Not Taken: Duality in Reasoning about Program Execution
- Title（参考訳）: 実行すべきでない道 - プログラム実行についての推論における二重性
- Abstract要約: プログラム実行を理解するには,2つの相補的推論タスクを通じて,その本質的にの双対性を評価する必要があると論じる。
この双対性を、445のペアインスタンスからなるベンチマークであるDexBenchでインスタンス化し、13の大規模言語モデルを評価する。
- 参考スコア（独自算出の注目度）: 6.381430350711558
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown remarkable capabilities across diverse coding tasks. However, their adoption requires a true understanding of program execution rather than relying on surface-level patterns. Existing benchmarks primarily focus on predicting program properties tied to specific inputs (e.g., code coverage, program outputs). As a result, they provide a narrow view of dynamic code reasoning and are prone to data contamination. We argue that understanding program execution requires evaluating its inherent duality through two complementary reasoning tasks: (i) predicting a program's observed behavior for a given input, and (ii) inferring how the input must be mutated toward a specific behavioral objective. Both tasks jointly probe a model's causal understanding of execution flow. We instantiate this duality in DexBench, a benchmark comprising 445 paired instances, and evaluate 13 LLMs. Our results demonstrate that dual-path reasoning provides a robust and discriminative proxy for dynamic code understanding.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、多様なコーディングタスクにまたがる顕著な能力を示している。
しかし、それらの採用は、表面レベルのパターンに頼るのではなく、プログラムの実行を真に理解する必要がある。
既存のベンチマークは主に、特定の入力(例えば、コードカバレッジ、プログラム出力)に関連するプログラムプロパティの予測に重点を置いています。
その結果、動的コード推論の視野が狭くなり、データの汚染が生じる。
プログラム実行を理解するには,2つの相補的推論タスクを通じて,その本質的にの双対性を評価する必要がある,と我々は主張する。
一 所定の入力に対するプログラムの観察行動を予測すること、及び
(ii)特定の行動目的に対してどのように入力を変更すべきかを推測すること。
どちらのタスクも、実行フローに対するモデルの因果的理解を共同で調査する。
この双対性を、445のペアインスタンスからなるベンチマークであるDexBenchでインスタンス化し、13のLLMを評価する。
我々の結果は、デュアルパス推論が動的コード理解のための堅牢で差別的なプロキシを提供することを示した。
関連論文リスト
- Pseudo2CodeQA: A Benchmark for LLM-Based Structured Algorithmic Reasoning in Code Generation [0.5993567221208439]
大規模言語モデル(LLM)は、自然言語からコードへの生成において、優れたパフォーマンスを実現している。
Pseudo2Codeは、構造化擬似コードがコード生成品質とアルゴリズムの忠実性に与える影響を評価するために設計されたベンチマークである。
論文 参考訳（メタデータ） (2026-08-10T03:17:08Z) - ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。
ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。
1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
論文 参考訳（メタデータ） (2026-07-01T09:58:59Z) - LLM-Based Static Verification of Code Against Natural-Language Requirements: An Industrial Experience Report [3.5867640049033054]
本稿では,この課題に対処するための2段階のLLMベースのワークフローを,インテリジェント車両サイバーセキュリティケーススタディで紹介する。
第一段階では、AIベースのルールマイナーが自然言語要求から検証可能なルールを抽出する。
第2段階では、AIベースのコード監査者が、抽出されたルールに対する実装証拠をチェックする。
論文 参考訳（メタデータ） (2026-05-18T06:34:03Z) - CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction [19.001016903165738]
大規模言語モデル(LLM)が実際にコード実行を理由付けているかどうかは不明だ。
既存のコード推論ベンチマークは、単一の標準実装の下で最終的な出力の正確性を評価する。
コード推論を評価する textbfCode textbfReasoning ベンチマークである textbfCoRE を導入する。
論文 参考訳（メタデータ） (2026-04-28T09:11:29Z) - DuET: Dual Execution for Test Output Prediction with Generated Code and Pseudocode [56.14374797825548]
よりエラー耐性の高い擬似コードに基づいて予測を行うLLMベースの擬似コード実行を提案する。
両手法を機能的多数決で組み合わせた二重実行フレームワークであるDuETを提案する。
LiveCodeBenchでは、DuETは最先端のパフォーマンスを実現し、Pass@1を13.6ppで改善した。
論文 参考訳（メタデータ） (2026-04-13T14:18:58Z) - Demystifying Errors in LLM Reasoning Traces: An Empirical Study of Code Execution Simulation [7.377446354867118]
大規模言語モデル(LLM)を用いた実行時の振る舞い推定に関する最初の実証的研究を行う。
我々は4つの最先端推論LCMを評価し,9つの推論誤差の分類法を開発した。
計算カテゴリの障害をケーススタディとして,本手法が58%の誤差を補正することを示す。
論文 参考訳（メタデータ） (2025-11-28T21:29:09Z) - BRIDGE: Building Representations In Domain Guided Program Verification [67.36686119518441]
BRIDGEは、検証をコード、仕様、証明の3つの相互接続ドメインに分解する。
提案手法は, 標準誤差フィードバック法よりも精度と効率を著しく向上することを示す。
論文 参考訳（メタデータ） (2025-11-26T06:39:19Z) - Adaptive Test-Time Reasoning via Reward-Guided Dual-Phase Search [62.1546099504045]
本稿では、推論を計画と実行に分離する二相テストタイムスケーリングフレームワークを提案する。
具体的には、推論軌跡を分解し、各フェーズの報酬モデルを構築し、探索者が個別に計画と実行を探索、実行できるようにする。
数学的推論とコード生成ベンチマークの両方の実験により、我々の手法は計算の冗長性を低減しつつ、常に精度を向上することを示した。
論文 参考訳（メタデータ） (2025-09-29T19:27:23Z) - EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。
このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。
19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
論文 参考訳（メタデータ） (2025-02-18T02:54:25Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - CodeMind: Evaluating Large Language Models for Code Reasoning [6.819757372634151]
大規模言語モデル(LLM)は、プログラミングタスクの自動化に広く使われている。
本稿では,LLMのコード推論能力を評価するためのフレームワークであるCodeMindを紹介する。
論文 参考訳（メタデータ） (2024-02-15T02:24:46Z) - Enforcing Consistency in Weakly Supervised Semantic Parsing [68.2211621631765]
本稿では,関連する入力に対する出力プログラム間の整合性を利用して,スプリアスプログラムの影響を低減することを提案する。
より一貫性のあるフォーマリズムは、一貫性に基づくトレーニングを必要とせずに、モデルパフォーマンスを改善することにつながります。
論文 参考訳（メタデータ） (2021-07-13T03:48:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。