論文の概要: StebBench: Diagnosing Real-World Procedural Understanding in AI Agents
- arxiv url: http://arxiv.org/abs/2610.26679v1
- Date: Mon, 19 Oct 2026 16:27:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 02:00:57.354242
- Title: StebBench: Diagnosing Real-World Procedural Understanding in AI Agents
- Title（参考訳）: StebBench: AIエージェントにおける現実の手続き的理解の診断
- Abstract要約: 我々は、81のオープンドメインカテゴリでwikiHowからクロールされた6,885の検証手順のベンチマークであるSTEPBENCHを紹介する。
世代別では、STEPEVALはゴール完了を防ぐ重要な失敗を特定する。
間違ったステップ検出は、モデル間で判断された計画の有効性も予測する。
- 参考スコア（独自算出の注目度）: 34.72469218106783
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating an agent's planning ability remains challenging for open-domain tasks, where verifying procedures through execution is often impractical. Existing evaluations typically assess only the final plan and do not distinguish procedural errors such as missing, incorrect, or misordered actions. We introduce STEPBENCH, a benchmark of 6,885 verified procedures crawled from wikiHow across 81 open-domain categories. From each procedure, we derive 5 diagnostic tasks: four with deterministic answers involving withheld, incorrect, or shuffled steps, and one requiring next-step generation. We additionally evaluate full-plan generation to examine how diagnostic performance correlates with end-to-end plan validity. Using the same procedures across tasks lets us directly compare different planning capabilities. For generation, STEPEVAL identifies critical failures that prevent goal completion. Across 14 configurations of 12 models, we find substantial differences across planning capabilities, with step ordering proving the most difficult: the strongest model correctly orders only 63.0% of procedures, dropping to 33.1% for those with nine or more steps. Incorrect-step detection also predicts judged plan validity across models, suggesting a lower-cost alternative for evaluating generation quality. On STEPBENCH-Val, comprising 214 procedures published in 2026, comprehension scores and rankings remain stable, suggesting limited influence from memorisation.
- Abstract（参考訳）: エージェントの計画能力を評価することは、実行によるプロシージャの検証が現実的でない場合、オープンドメインタスクでは依然として難しい。
既存の評価は、通常、最終的な計画のみを評価し、欠落、不正、または不順な行動などの手続き上の誤りを区別しない。
我々は、81のオープンドメインカテゴリにわたってwikiHowからクロールされた6,885の検証手順のベンチマークであるSTEPBENCHを紹介する。
それぞれの手順から,非保持,不正,シャッフルステップを含む決定論的回答が4つ,次段階生成を必要とする5つの診断課題を導出する。
さらに、診断性能がエンドツーエンドの計画妥当性とどのように相関するかを検討するために、フルプラン生成を評価する。
同じプロシージャをタスク間で使用することで、さまざまな計画機能を直接比較できます。
世代別では、STEPEVALはゴール完了を防ぐ重要な失敗を特定する。
最強のモデルでは63.0%しかプロシージャを正しく注文せず、9つ以上のステップを持つ場合は33.1%に低下する。
誤ったステップ検出はまた、モデル間での判断された計画の有効性を予測し、生成品質を評価するための低コストな代替案を提案する。
2026年に出版された214の手続きからなるSTEPBENCH-Valでは、理解のスコアとランキングが安定しており、暗記の影響が限定されている。
関連論文リスト
- Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills [0.39508022083907385]
結果レベルとプロセスレベルのチェックを組み合わせた継続的評価フレームワークを提案する。
我々は,2つのスキル,2つの仕様変種,2つのエージェントハーネス,3つのモデルに対する240の試行を評価した。
論文 参考訳（メタデータ） (2026-10-01T15:06:23Z) - Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark [0.0]
本稿では,タスクテキストからヘテロジニアスな操作を構成する,実行可能ベンチマークと予算対応メタルータを紹介する。
結果: 学習成功率は75.9%、静的ルーティングは93.5%、残る49%が安価で34.3ポイントを超える。
論文 参考訳（メタデータ） (2026-07-31T07:00:49Z) - Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking [0.0]
本稿では,小売会話システムの大規模評価を行うための管理型構成駆動パイプラインであるGenAI Evaluationを提案する。
このフレームワークは、有用性、真理性、明瞭性、音調アライメント、翻訳特化次元を評価する。
パイプラインのマクロF1スコアは0.93で、翻訳の精度は89%だった。
論文 参考訳（メタデータ） (2026-07-13T19:01:56Z) - ReacTOD: Bounded Neuro-Symbolic Agentic NLU for Zero-Shot Dialogue State Tracking [2.2573512203799626]
本稿では,NLUを独立したツールコールとして再構成する有界神経シンボルアーキテクチャであるReacTODを提案する。
有界ReActループは反復自己補正を可能にし、MultiWOZ上のシングルパス推論よりも最大9.3ポイント精度を向上させる。
論文 参考訳（メタデータ） (2026-05-18T20:06:04Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models [0.8566115760417291]
大規模言語モデル(LLM)は、しばしば推論ベンチマークにおいて高い性能を達成するが、最終回答の精度だけでは、プロンプトで指定された手順を忠実に実行するかどうかは示さない。
そこで本研究では,段階演算アルゴリズムと2つの数値入力をモデルに与え,最終的な計算値を返さなければならない。
14のモデルと55のデータセットで、平均的な最初の回答精度は5ステップの手順では61%から95ステップの手順では20%に低下する。
ジェネレーションレベルの分析は、失敗は、しばしば欠落した回答、未熟な回答、初期エラー後の自己実行、そして、過小評価を伴っていることを示している。
論文 参考訳（メタデータ） (2026-05-01T17:55:47Z) - TEMPO: Scaling Test-time Training for Large Reasoning Models [87.61789183311856]
テストタイムトレーニング(TTT)は、推論時間中にラベルのないテストインスタンスにモデルパラメータを適用する。
TTTフレームワークであるTEMPOを提案する。これは、ラベル付きデータセット上で定期的な批評家の再検討を行い、ラベル付き質問に対するポリシー修正をインターリーブする。
論文 参考訳（メタデータ） (2026-04-21T10:01:04Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - How2Everything: Mining the Web for How-To Procedures to Evaluate and Improve LLMs [49.61011897610774]
How2Everythingは、ゴール条件ドプロシージャの生成を評価し改善するフレームワークである。
私たちのフレームワークには、14トピックにわたる980KのWebページから351KのプロシージャをマイニングするHow2Mineが含まれています。
How2Score(ハウ2スコア)は、LLMジャッジを使用して、世代が目標達成を阻止する重要な障害を含むかどうかを検出する評価プロトコルである。
論文 参考訳（メタデータ） (2026-02-09T15:47:14Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。