論文の概要: When Better Turns Do Not Make Better Agents: Diagnosing the Gap Between Next-Turn Metrics and Workflow Success

• arxiv url: http://arxiv.org/abs/2609.21187v1
• Date: Fri, 18 Sep 2026 01:11:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.80819
• Title: When Better Turns Do Not Make Better Agents: Diagnosing the Gap Between Next-Turn Metrics and Workflow Success
• Title（参考訳）: Better Turnsがより良いエージェントを作らないとき--次のTurn Metricsとワークフロー成功のギャップを診断する
• Abstract要約: 本稿では,このプロトコルによる改善が,自律的なワークフロー実行の改善を予測できるかどうかについて検討する。 SFTはテキスト・ターンの成功を継続的に改善し,ゴールド・ヒストリー・アセスメント・アセスメントによるすべてのモデルにおいて,全体的なターン・ターンの成功が増加することがわかった。 この結果から,次のターン評価は,テキスト品質,ローカルアクションの正当性,ツールの実行,エンドツーエンドタスク完了を別々に報告する動機付けとして,ワークフロー成功のための信頼性の高いプロキシではないことが示唆された。
• 参考スコア（独自算出の注目度）: 10.890369572793025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent models are frequently evaluated one decision at a time, where the model predicts the next action based on the gold interaction history, which is scored against a reference. We investigate whether improvement under this protocol is predictive of improved autonomous workflow execution. We study pre-SFT and supervised fine-tuned (SFT) Qwen3 models at 4B and 14B parameters and Gemma 3 models at 4B and 12B parameters on multi-turn customer-support workflows. We find that SFT consistently improves text-turn success, and that overall next-turn success increases for every model under gold-history evaluation. However, these improvements do not transfer to autonomous workflow execution. Tool-specific gains also vary across metrics and models. None of the four SFT models succeeds under holistic workflow evaluation, with strict trajectory completion reaching at most 10.4% workflow success. Our results show that next-turn evaluation is not a reliable proxy for workflow success, motivating separate reporting of text quality, local action correctness, tool execution, and end-to-end task completion.
• Abstract（参考訳）: エージェントモデルは1度に1度に評価され、そこではモデルが参照に対して得点される金の相互作用履歴に基づいて次のアクションを予測する。 本稿では,このプロトコルによる改善が自律的なワークフロー実行の改善を予測できるかどうかを検討する。 マルチターン顧客支援ワークフローにおいて、4Bおよび14BパラメータでのSFTおよび教師付き微調整(SFT)Qwen3モデルと、4Bおよび12BパラメータのGemma 3モデルについて検討した。 SFTはテキスト・ターンの成功を継続的に改善し,ゴールド・ヒストリー・アセスメント・アセスメントによるすべてのモデルにおいて,全体的なターン・ターンの成功が増加することがわかった。 しかし、これらの改善は、自律的なワークフロー実行に移行しない。 ツール固有のゲインは、メトリクスやモデルによって異なります。 4つのSFTモデルはいずれも全体的ワークフロー評価では成功せず、厳密な軌道完了はワークフローの成功率10.4%に達している。 この結果から,次のターン評価は,テキスト品質,ローカルアクションの正当性,ツールの実行,エンドツーエンドタスク完了を別々に報告する動機付けとして,ワークフロー成功のための信頼性の高いプロキシではないことが示唆された。

関連論文リスト

• TACIT-Switch: Cost-Aware Model Escalation for LLM Agents from Censored Supervision [2.681967953218225]
  より小さな言語モデルバックボーンを持つエージェントは永続的な障害モードにドリフトできるが、より大きなバックボーンを持つエージェントは一般的により信頼性が高いがよりコストがかかる。 この信頼性の高いトレードオフは、より大きなバックボーンを持つエージェントをいつ呼び出すかを決定するルーティングメソッドを動機付けます。 提案手法であるTACIT-SWITCHは,蓄積された軌跡の証拠から永久的ハンドオフポリシーを学習する。
  論文  参考訳（メタデータ） (2026-08-28T04:33:11Z)
• When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
  過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。 textbfBoundary-Aware Skill Memory (BASM)を提案する。 BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-23T10:16:06Z)
• Why Search When You Can Transfer? Amortized Agentic Workflow Design from Structural Priors [51.95306551061392]
  エージェントワークフローの自動設計は、現在、タスクごとの反復検索に依存している。 本稿では,ワークフロー設計を再利用可能な構造的先入観に補正するフレームワークであるSWIFTを提案する。 SWIFTは5つのベンチマークで最先端の検索手法より優れている。
  論文  参考訳（メタデータ） (2026-04-27T21:25:00Z)
• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• In-the-Flow Agentic System Optimization for Effective Planning and Tool Use [73.72524040856052]
  AgentFlowはトレーニング可能なインザフローエージェントフレームワークで、進化するメモリを通じて4つのモジュール(プランナ、実行子、検証子、ジェネレータ)をコーディネートする。 Flow-GRPOは、マルチターン最適化をトラクタブルな単一ターンポリシー更新のシーケンスに変換することで、長い水平、スパース・リワードのクレジット割り当てに取り組む。 エージェントフローは7Bスケールのバックボーンで、平均的精度が14.9%、エージェントが14.0%、数学が14.5%、科学的タスクが4.1%でトップパフォーマンスのベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-10-07T05:32:44Z)
• Routine: A Structural Planning Framework for LLM Agent System in Enterprise [10.989149053905587]
  エンタープライズ環境におけるエージェントシステムの展開は、しばしばいくつかの課題によって妨げられる。 一般的なモデルは、ドメイン固有のプロセス知識が欠如し、非組織的な計画、主要なツールの欠如、実行の安定性が低下します。 本稿では、明確な構造、明示的な命令、シームレスなパラメータパッシングを備えたマルチステップエージェント計画フレームワークであるRuleineを紹介する。
  論文  参考訳（メタデータ） (2025-07-19T02:46:19Z)
• Weak-for-Strong: Training Weak Meta-Agent to Harness Strong Executors [104.5401871607713]
  本稿では、より小型でコスト効率の良い言語モデルをカスタマイズし、より強力なモデルを利用するための設計と最適化を行う新しいフレームワークであるWeakfor-Strong Harnessing (W4S)を提案する。 W4Sはマルチターンマルコフ決定プロセスとして設計を定式化し、エージェントワークフロー最適化のための強化学習を導入する。 経験的な結果から、GPU時間でトレーニングされた7Bメタエージェントは、11ベンチマークで2.9%、最強のベースラインを2.9%上回るW4Sの優位性を示している。
  論文  参考訳（メタデータ） (2025-04-07T07:27:31Z)
• FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
  FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。 非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。 条件設定では、太陽予測において優れた性能を達成している。
  論文  参考訳（メタデータ） (2024-11-12T03:03:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。