論文の概要: One Step at a Time: Trading LLM Autonomy for Process Predictability
- arxiv url: http://arxiv.org/abs/2610.07817v1
- Date: Tue, 06 Oct 2026 06:10:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.838614
- Title: One Step at a Time: Trading LLM Autonomy for Process Predictability
- Title（参考訳）: プロセス予測可能性のためのLDMオートノミーの取引
- Abstract要約: モデルコンテキストプロトコル(MCP)をステップオーバーしてプロシージャを段階的に提供します。
サーバが1ステップずつリリースし、エージェントがそれを実行し、各ステップが構造化されたStep_outputを返す。
完了したステップレコードは、ダウンストリームツールがステップごとに監査し最適化できるマシン可読実行ログを形成する。
- 参考スコア（独自算出の注目度）: 1.7761223012399532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Organizations automating operational processes need more than a correct outcome: they need to predict how a process will run, know which one actually ran, and inspect it step by step. When an agent is the executor that predictability is normally lost: the prescribed procedure goes into the system prompt, and only a final answer comes back. We deliver the procedure step by step over the Model Context Protocol (MCP) instead: a server releases one step at a time, the agent executes it, and each step returns a structured step_output. This trades autonomy for predictability, and two properties then follow by construction, independent of the executor. The execution path is prescribed before the run, so the process is predictable in advance rather than reconstructed afterwards; and the completed step records form a machine-readable execution log that downstream tooling can audit and optimize step by step. Evaluating 15,475 trials across 13 SOP-Bench domains and four open-weight executors from frontier (Kimi K2.5) to lightweight (Ministral 3 8B), we find step-level delivery makes the executed process predictable and inspectable for every executor, and additionally raises accuracy when the executor is small. Across all four, process adherence rises significantly (76-95% to 95-99%) and ungrounded answers (correct outputs produced without executing the SOP) near-vanish, falling from 2.1-4.5% to 0.2-0.3% of trials (all 95% CIs exclude zero); under prompt-based delivery, 31-49% of correct answers on know_your_business bypass the SOP entirely, even for the frontier executor. Accuracy is where the executor's capability enters: the lightweight executor gains +6.5pp grounded accuracy because supplying the process externally removes a reconstruction burden it cannot carry, while capable ones trade a small raw-accuracy decrement for a predictable, auditable process.
- Abstract（参考訳）: 運用プロセスを自動化する組織は、正しい結果以上のものを必要とします – プロセスがどのように実行されるのかを予測し、実際にどのプロセスが実行されるのかを把握し、ステップごとにそれを検査する必要があります。
エージェントが実行者である場合、予測可能性は通常失われ、所定の手順がシステムプロンプトに入り、最終的な答えのみが返ってくる。
サーバが一度にひとつのステップをリリースし、エージェントがそれを実行し、各ステップが構造化されたステップ_outputを返す。
これは予測可能性のために自律性を交換し、2つの特性は実行者から独立して構築によって従う。
実行パスは実行前に規定されるので、後に再構築されるよりも事前にプロセスが予測可能であり、完了したステップレコードは、ダウンストリームツールがステップごとに監査および最適化できるマシン可読実行ログを形成する。
13のSOP-Benchドメインにわたる15,475のトライアルと、フロンティア(Kimi K2.5)から軽量(Ministral 3 8B)までのオープンウェイトエグゼキュータ(Open-weight executor)を評価した結果、ステップレベルのデリバリにより、実行プロセスが各エグゼキュータに対して予測可能で、検査可能になり、エグゼキュータが小さい場合には精度が向上することがわかった。
プロセスのアテンデンス(76-95%から95-99%)が著しく増加し、未解決の回答(SOPを実行せずに正確な出力)がほぼ消滅し、試験の2.1-4.5%から0.2-0.3%(すべての95% CIはゼロ)に低下する。
軽量のエグゼキュータは、外部から積載できない復元負担を除去し、能力のある者は予測可能で監査可能なプロセスのために小さな生の精度のデクリメントを交換するので、精度が+6.5pp向上する。
関連論文リスト
- EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents [56.25120535601186]
視覚言語アクション(VLA)モデルは、視覚観察と言語指示を直接ロボットアクションにマッピングする。
本稿では,各スキル決定を実行提案として扱うフレームワークであるEmbodiedSkillsを提案する。
共有可能スキルインタフェースは、ハイレベルスキル選択、バウンドローレベルVLA実行、ポストアクション検証を接続する。
論文 参考訳（メタデータ） (2026-09-01T14:14:47Z) - Rethink Before You Execute: Adaptive Execution for World Action Models [29.76405877028887]
世界行動モデルは、将来の行動と環境の進化を共同で予測する。
この固定された実行の地平線は実行のダイナミクスとあまり一致していないと我々は主張する。
WAMのための軽量なプラグアンドプレイ実行方式であるTempoWAMを提案する。
論文 参考訳（メタデータ） (2026-08-10T11:59:42Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。
彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。
タスク対応型実行-スコープ推定の欠如を論じる。
論文 参考訳（メタデータ） (2026-07-14T17:59:31Z) - To Run or Not to Run: Analyzing the Cost-Effectiveness of Code Execution in LLM-Based Program Repair [18.653708704742353]
実行には時間がかかり費用もかかるが、プログラム修復エージェントへの影響は未調査のままである。
コード実行は分析されたすべてのエージェントとモデルで使用され、タスク毎に平均8.8のテスト実行が実行される。
現在のエージェントは実行を無差別に適用し、ほとんど利益が得られないインスタンスにコストを支払う。
論文 参考訳（メタデータ） (2026-06-25T12:49:59Z) - OpenClawBench: Benchmarking Process-side Anomalies in Real-world Agent Execution Trajectories [24.616751291282046]
実エージェント実行プロセスにおけるプロセス側異常の測定と監視のための大規模データセットであるOpenClawBenchを紹介する。
OpenClawBenchは6つのソースモデルによって生成されたBFCL駆動のOpenClawセッションから構築され、31,264の注釈付きトラジェクトリを含んでいる。
FullTaxは、アライメントされた軌跡を、バイナリラベル、エビデンス、オンセット/スパンのローカライゼーション、重度、回復性、および5クラスの異常分類といった構造化された異常管理に変換する。
論文 参考訳（メタデータ） (2026-05-28T02:15:52Z) - When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models [0.8566115760417291]
大規模言語モデル(LLM)は、しばしば推論ベンチマークにおいて高い性能を達成するが、最終回答の精度だけでは、プロンプトで指定された手順を忠実に実行するかどうかは示さない。
そこで本研究では,段階演算アルゴリズムと2つの数値入力をモデルに与え,最終的な計算値を返さなければならない。
14のモデルと55のデータセットで、平均的な最初の回答精度は5ステップの手順では61%から95ステップの手順では20%に低下する。
ジェネレーションレベルの分析は、失敗は、しばしば欠落した回答、未熟な回答、初期エラー後の自己実行、そして、過小評価を伴っていることを示している。
論文 参考訳（メタデータ） (2026-05-01T17:55:47Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - Verified Critical Step Optimization for LLM Agents [67.05296684575445]
クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。
メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。
GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
論文 参考訳（メタデータ） (2026-02-03T11:41:02Z) - Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。
検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。
このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
論文 参考訳（メタデータ） (2026-01-09T16:44:17Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。