論文の概要: When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models

• arxiv url: http://arxiv.org/abs/2605.00817v1
• Date: Fri, 01 May 2026 17:55:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:29.033811
• Title: When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models
• Title（参考訳）: 言語モデルにおける手続き実行の診断的研究
• Authors: Sailesh Panda, Pritam Kadasi, Abhishek Upperwal, Mayank Singh,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば推論ベンチマークにおいて高い性能を達成するが、最終回答の精度だけでは、プロンプトで指定された手順を忠実に実行するかどうかは示さない。 そこで本研究では,段階演算アルゴリズムと2つの数値入力をモデルに与え,最終的な計算値を返さなければならない。 14のモデルと55のデータセットで、平均的な最初の回答精度は5ステップの手順では61%から95ステップの手順では20%に低下する。 ジェネレーションレベルの分析は、失敗は、しばしば欠落した回答、未熟な回答、初期エラー後の自己実行、そして、過小評価を伴っていることを示している。
• 参考スコア（独自算出の注目度）: 0.8566115760417291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often achieve strong performance on reasoning benchmarks, but final-answer accuracy alone does not show whether they faithfully execute the procedure specified in a prompt. We study this question through a controlled diagnostic benchmark for procedural execution, where models are given a step-wise arithmetic algorithm and two numeric inputs, and must return the final computed value. The benchmark uses simple arithmetic operations but increases complexity through algorithm length and look-back dependencies over intermediate variables. Across 14 models and 55 datasets, average first-answer accuracy drops from 61% on 5-step procedures to 20% on 95-step procedures. Generation-level analysis shows that failures often involve missing answers, premature answers, self-correction after an initial error, under-executed traces, and hallucinated extra steps. These findings suggest that apparent reasoning ability can mask substantial weaknesses in faithful instruction execution.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば推論ベンチマークにおいて高い性能を達成するが、最終回答の精度だけでは、プロンプトで指定された手順を忠実に実行するかどうかは示さない。 そこで本研究では,段階演算アルゴリズムと2つの数値入力をモデルに与え,最終的な計算値を返さなければならない。 このベンチマークは単純な算術演算を使用するが、中間変数に対するアルゴリズム長とルック・バックの依存関係によって複雑さを増大させる。 14のモデルと55のデータセットで、平均的な最初の回答精度は5ステップの手順では61%から95ステップの手順では20%に低下する。 ジェネレーションレベルの分析は、失敗は、しばしば不足した回答、未熟な答え、初期エラー後の自己補正、実行されていないトレース、そして幻覚的な余分なステップを含むことを示している。 以上より, 明確な推論能力は, 忠実な指示実行において重大な弱点を隠蔽する可能性が示唆された。

関連論文リスト

• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• Solver-in-the-Loop: MDP-Based Benchmarks for Self-Correction and Behavioral Rationality in Operations Research [19.31559944205485]
  運用 調査実践者は反復的なプロセスを通じて、不可能なモデルを日常的にデバッグする。 評価ループにtextbfsolver を配置するベンチマークを2つ導入する。 ドメイン固有のRLVRトレーニングによって、8BモデルがフロンティアAPIを越えられることが分かりました。
  論文  参考訳（メタデータ） (2026-01-28T20:02:44Z)
• Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
  データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。 検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。 このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
  論文  参考訳（メタデータ） (2026-01-09T16:44:17Z)
• Dynamic Early Exit in Reasoning Models [21.30793518631921]
  長いチェーン・オブ・シンクレット(CoT)生成における再考は、問題解決の効率を低下させるだけでなく、精度損失のリスクも引き起こす。 我々は,LLMが生成時に早期終了によってCoT配列を自己トランケートできる簡易かつ効果的な方法を提案する。 提案手法は追加のトレーニングを必要とせず,既存の o1 ライクな推論 LLM にシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-04-22T13:36:53Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning [83.03531832811386]
  BoostStep はステップ整列 ICL の例を通して推論精度を向上させる方法である。 チェーン・オブ・シークレット(CoT)とツリー検索アルゴリズムをシームレスに統合する。 AIMEにおけるDeepSeek-R1-671Bのパフォーマンスを2.2%改善し、MATHデータセットからの単純な例のみを活用する。
  論文  参考訳（メタデータ） (2025-01-06T18:59:13Z)
• Enhancing Mathematical Reasoning in LLMs by Stepwise Correction [39.67266805233599]
  Best-of-N復号法は、大規模言語モデル(LLM)に複数の解を生成するように指示し、それぞれがスコアリング関数を使用してスコアし、数学的な推論問題に対する最終解として最も高いスコアを選択する。 本稿では,LLMが生成した推論経路の誤りステップを特定し,修正するのに役立つ,ステップワイズ補正(StepCo)という新しいプロンプト手法を提案する。 バリデーション・then-reviseプロセスは、回答の正しさを向上するだけでなく、生成に必要なパスを減らしてトークン消費を減らす。
  論文  参考訳（メタデータ） (2024-10-16T18:18:42Z)
• Improve Mathematical Reasoning in Language Models by Automated Process Supervision [23.807288360423193]
  我々は,高品質プロセス監視データの効率的な収集のために,textitOmegaPRM という新しい分割型モンテカルロ木探索アルゴリズムを提案する。 プロセスリワードモデル(PRM)をトレーニングするために、150万以上のプロセス監視アノテーションを収集できます。 重み付けされた自己整合性アルゴリズムとともに、この完全に自動化されたプロセスの監督は、LLMの数学推論性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-05T19:25:40Z)
• Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
  本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。 従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-09T09:04:53Z)
• Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning [75.74103236299477]
  CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。 ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。 CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-06-04T17:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。