論文の概要: Not Every User Says It All: Training Tool-Using Agents Beyond Ideal Simulated Users
- arxiv url: http://arxiv.org/abs/2610.24294v1
- Date: Fri, 16 Oct 2026 22:41:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 02:34:38.335903
- Title: Not Every User Says It All: Training Tool-Using Agents Beyond Ideal Simulated Users
- Title（参考訳）: すべてのユーザーがそう言っているわけではない: 理想的ユーザー以外のエージェントを訓練するツール
- Abstract要約: シミュレーションされたユーザの応答の文をマスキングすることで弱いユーザを構築する。
Tau2-benchとToolWOZで、強力で弱いユーザで訓練されたエージェントを横断的に評価する。
- 参考スコア（独自算出の注目度）: 21.43264986582379
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tool-using agents are trained and evaluated almost exclusively with strong simulated users who state every detail clearly, yet real users are often weaker. We construct weak users by masking sentences of a simulated user's replies, holding the task and the user's knowledge fixed, and cross-evaluate agents trained with strong and weak users on tau2-bench and ToolWOZ. Weak users lower the success of every policy, and training with them does not help: no policy trained with weak users, through fixed masks, mixtures or a curriculum, serves weak users better than the strong-trained policy beyond run-to-run noise, and prompting the agent to ask more does not help either. We propose StaGPO (State-Grouped Policy Optimization): the agent writes what the task needs, what is missing and how it is being filled, and GRPO uses this state to compare turns of different rollouts that reach the same situation, assigning step-level credit. Within the standard recipe of a small SFT cold start followed by RL, StaGPO makes weak-user training useful: on ToolWOZ, the Qwen3.5-2B policy trained with weak users reaches 76.8% with weak users, the highest of any Qwen3.5-2B policy we trained, 4.8 points above GRPO and 2.8 above the strongest baseline; it is also 5.4 points above GRPO with strong users, and generalises to an unseen mask rate; trained with strong users instead, it serves weak users at least as well as GRPO trained with weak users. On tau2-bench it scores highest with weak users for both models, by a small margin for Qwen3.5-4B.
- Abstract（参考訳）: ツール使用エージェントは、あらゆる詳細を明確に記述する強力なシミュレートされたユーザによって、ほとんどトレーニングされ、評価されるが、実際のユーザは、しばしばより弱い。
シミュレーションされたユーザの回答の文をマスキングし、タスクとユーザの知識を固定し、Tau2-benchとToolWOZで弱いユーザと弱いユーザを訓練したクロス評価エージェントを構築した。
弱いユーザは、すべてのポリシーの成功を低くし、トレーニングは役に立たない: 弱いユーザーで訓練されたポリシーは、固定マスク、ミックスまたはカリキュラムを通して、弱いユーザーに対して、実行時から実行時までのノイズを超えて、強い訓練されたポリシーよりも良いサービスを提供し、エージェントにもっと尋ねるよう促すことも役に立たない。
我々は,StaGPO (State-Grouped Policy Optimization): エージェントがタスクに必要なもの,不足するもの,どのように満たされているのかを記述し,GRPOはこの状態を使用して,同じ状況に到達した異なるロールアウトのターンを比較し,ステップレベルのクレジットを割り当てる。
ツールWOZでは、弱いユーザでトレーニングされたQwen3.5-2Bポリシーは、弱いユーザで76.8%に達し、トレーニングされたQwen3.5-2Bポリシーの最高値は、私たちがトレーニングした任意のQwen3.5-2Bポリシーの最高値である。
Tau2-benchでは、どちらのモデルも弱いユーザーで最高点を記録し、Qwen3.5-4Bの差は小さい。
関連論文リスト
- Pincer: Resource Authorization for Agents using a Digital Twin [67.15317774522758]
Pincerは新しいディフェンスで、リソース層で動作し、オートモードのようなツールコール層で既存のディフェンスと連携する。
Pincerのコアにはデジタルツインがある。分離されたコンテキストモデルで、動的にユーザ固有の最小限のポリシーを自動的に学習し、強制する。
評価の結果,Pincerはいくつかのベースラインと比較して,セキュリティとユーティリティの両方に強く依存していることがわかった。
論文 参考訳（メタデータ） (2026-10-01T23:03:12Z) - UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training [0.3757813713418657]
現在のベンチマークはエージェントのみをスコアし、ユーザが割り当てられたロールを正しく実行したかどうかを直接測定しない。
本稿では,tau-benchファミリ上の評価層であるUser ProxyBenchと,ベンチマークのプライベートユーザ命令への準拠性を測定するUser Fidelity Score(UFS)を紹介する。
GPT-5.5で固定されたエージェントを保持し、375のエンタープライズタスクにまたがるユーザプロキシだけを変更すると、タスク報酬の平均15.2ポイントが変更され、成功エピソードの24.4%がユーザ特定違反を含んでいることがわかった。
論文 参考訳（メタデータ） (2026-09-29T17:17:24Z) - Beyond the Payload: How User Invocation Shapes Coding Agent Vulnerability to Repository Poisoning [39.57248170050304]
コーディングエージェントは、サードパーティリポジトリからのプロジェクトのブートストラップなど、ソフトウェアエンジニアリングタスクにますます使用されている。
これらのユーザ側の選択をPrompt-Level設定(PLC)と呼び、CIPR(Coding In Poisoned Repos)を導入します。
CIPRは、20のリポジトリに1,920のインスタンス、4つのタスクタイプ、3つのソーシャルメディアベースのプロンプトスタイル、3つのスキル/ルール条件、そしてアタック成功率(ASR)とエージェントアラートレート(AR)を含む。
脆弱性は非常にコンテキスト依存的であり、タスクタイプはASRの4.5倍の違いをテストで生成する。
論文 参考訳（メタデータ） (2026-08-31T12:26:01Z) - Prompt-Space Meta-Learning Does Not Transfer Across Users: A Frozen-LLM Negative Result [0.0]
本研究では,メタトレイン利用者を対象に,単一の共用適応プロンプトを進化させるMuseについて検討する。
Museは、独自の未進化のシードプロンプトや、ミスマッチしたユーザサポートペアにメタトレインを付加する構造破壊制御において、大幅な改善はない。
論文 参考訳（メタデータ） (2026-06-25T03:55:29Z) - Agent Explorative Policy Optimization for Multimodal Agentic Reasoning [97.64835302176056]
エージェント推論は2つの行動と構造的非対称性(思考と道具の使用)をインターリーブする。
GRPOのような標準的なRLレシピでは、ギャップはトレーニング中に2つの診断症状として現れる。
AXPO (Agent eXplorative Policy Optimization) を提案する。
論文 参考訳（メタデータ） (2026-05-27T17:36:39Z) - Offline Policy Evaluation of Multi-Turn LLM Health Coaching with Real Users [1.0742675209112622]
そこで本研究では,実ユーザを対象に,Web上にデプロイされたツール拡張型LDMヘルスコーチについて検討する。
7人のユーザ(280回)からなるパイロットテストにおいて、オフラインポリシ評価は、均一なヘビーツールポリシーがログの平均値を上げるが、特定のサブグループを傷つけることを示している。
隠れアーチタイプを備えた軽量シミュレータは、小さな初期情報ゲインボーナスを追加することで、特性の識別が確実に短縮され、ゴールの成功とパス@3が向上することを示している。
論文 参考訳（メタデータ） (2025-10-20T05:28:59Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。
ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。
また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
論文 参考訳（メタデータ） (2025-04-11T19:49:22Z) - Coordinated Attacks against Contextual Bandits: Fundamental Limits and
Defense Mechanisms [75.17357040707347]
オンラインレコメンデーションシステムによってモチベーションされた我々は,文脈的包帯における最適政策の発見問題を提案する。
目標は、優れたユーザに対する報酬を可能な限り少ないユーザインタラクションで最大化するポリシーを、しっかりと学習することだ。
効率的なロバストな平均推定器を用いることで、$tildeO(min(S,A)cdot alpha/epsilon2)$ upper-boundを実現できることを示す。
論文 参考訳（メタデータ） (2022-01-30T01:45:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。