論文の概要: Uncovering Robustness Weaknesses in LLM Agents via Persona Evolution with Task-Integrity Constraints

• arxiv url: http://arxiv.org/abs/2610.16155v1
• Date: Mon, 12 Oct 2026 04:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.307744
• Title: Uncovering Robustness Weaknesses in LLM Agents via Persona Evolution with Task-Integrity Constraints
• Title（参考訳）: タスク不等式制約によるペルソナ進化によるLLMエージェントのロバストさの発見
• Abstract要約: 本稿では,エージェント固有のユーザポリシーを自動的に検出するタスク統合保存ペルソナ進化手法であるTIPERを紹介する。 4つの対話型エージェントベンチマークで、TIPERは12 GPT-5.4のすべての設定で低い保持率のavgNLP@3スコアを得る。 さらなる分析により、発見されたユーザの行動と繰り返し発生するエージェントの障害モードを結びつける行動から障害への分類が得られる。
• 参考スコア（独自算出の注目度）: 19.618760481788502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interactive-agent evaluations commonly rely on standardized LLM-based user simulators that exhibit broadly cooperative behavior, potentially overlooking failures that arise under diverse but realistic user interactions. This can lead to overly optimistic estimates of agent robustness and provide limited failure signals for training agents that generalize across users. Existing approaches largely rely on predefined user behaviors, which may miss agent- or domain-specific weaknesses, while failure-oriented search can reduce task success by invalidating the underlying task rather than exposing genuine robustness failures. To fill this gap, we introduce TIPER, a task-integrity-preserving persona evolution method that automatically discovers agent-specific user policies exposing robustness weaknesses while keeping the underlying task valid and solvable. TIPER evolves persistent user personas through reflection-guided behavioral mutations and task-wise Pareto selection under a task-integrity constraint. Across four interactive-agent benchmarks, TIPER yields lower held-out avg@3 scores in all 12 GPT-5.4 settings, with observed reductions of 5.8 to 33.7 percentage points, and in all 28 agent-domain pairs spanning seven agents, with a median observed reduction of 22.9 points. Further analysis yields a behavior-to-failure taxonomy that connects discovered user behaviors to recurring agent failure modes. Together, these results show that TIPER enables more diagnostic robustness evaluation of interactive agents and provides informative failure analysis for future agent robustness improvement. Code repository: https://github.com/UCSB-NLP-Chang/TIPER.
• Abstract（参考訳）: インタラクティブエージェントの評価は、多様だが現実的なユーザインタラクションの下で発生する失敗を見逃しかねない、広範囲に協調的な振る舞いを示す標準化されたLCMベースのユーザーシミュレータによく依存する。 これはエージェントの堅牢性を過度に楽観的に見積もり、ユーザ間で一般化するトレーニングエージェントに対して、限られた障害信号を提供する可能性がある。 既存のアプローチは、エージェントやドメイン固有の弱点を見逃す可能性のある、事前定義されたユーザの振る舞いに大きく依存していますが、障害指向の検索は、真に堅牢な障害を露呈するのではなく、基礎となるタスクを無効にすることで、タスクの成功を減らすことができます。 このギャップを埋めるために,タスク統合保存ペルソナ進化法であるTIPERを導入する。 TIPERは、リフレクション誘導行動変異とタスク統合制約下でのタスクワイドパレート選択により、永続的なユーザペルソナを進化させる。 4つの対話型エージェントベンチマークで、TIPERは12 GPT-5.4の全ての設定において低い保持率のavg@3スコアを獲得し、5.8から33.7のパーセンテージで7つのエージェントにまたがる28のエージェントドメインペアで22.9ポイントの中央値で減少する。 さらなる分析により、発見されたユーザの行動と繰り返し発生するエージェントの障害モードを結びつける行動から障害への分類が得られる。 これらの結果から,TIPERは対話型エージェントのより診断力のあるロバストネス評価を可能にし,将来のエージェントのロバストネス向上のための情報的障害解析を提供することが示された。 コードリポジトリ:https://github.com/UCSB-NLP-Chang/TIPER。

関連論文リスト

• SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents [49.54988737892722]
  自己進化型LDMエージェントは、ハーネスを変更することで、デプロイ後に改善する能力で有名になった。 SEABenchは、エージェントの自己進化から生じる内因性不整合を研究するためのベンチマークである。 自己進化はタスク完了率を高めるが、安全上の失敗の犠牲になることが多い。
  論文  参考訳（メタデータ） (2026-09-28T16:46:25Z)
• Efficient Test-Time Adaptation through Human-AI Interaction [112.5131603022122]
  我々は,ヒト-エージェント間相互作用(TAHI)によるテスト時間適応を提案する。 エージェントを2つの高ユーティリティドメイン(書き込みと視覚的創造)の30人に適応させ、合計600のタスクをこなします。 エージェントは10タスク以内の単独作業の成功率を4.5-20.9%向上させる。
  論文  参考訳（メタデータ） (2026-09-03T17:33:18Z)
• Adversarial Stress Testing of Role-Playing Language Agents using Multi-Agent Evaluation [0.0]
  Role-Playing Language Agents (RPLA) は、ハイテイクなアプリケーションにますます多くデプロイされている。 既存の評価アプローチは静的ベンチマークや孤立したシングルターンプロンプトに依存している。 本稿では,マルチターン対話による対向的ストレステストRPLAのためのモジュール型マルチエージェントプラットフォームを提案する。
  論文  参考訳（メタデータ） (2026-08-04T05:54:32Z)
• AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
  既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。 エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。 AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
  論文  参考訳（メタデータ） (2026-07-11T00:57:36Z)
• Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents [12.703661629160571]
  本稿では,自動的,動的,かつ使いやすい評価フレームワークであるAgentic CLEARを提案する。 エージェントの動作に関するテキストによる洞察を3つのレベル(システム、トレース、ノード)で生成する。 Agentic CLEARは可観測層の上で動作し、シームレスな統合と直感的なUIを特徴とする。
  論文  参考訳（メタデータ） (2026-05-21T15:26:02Z)
• EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
  既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。 EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。 ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
  論文  参考訳（メタデータ） (2026-05-11T00:04:19Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)
• How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
  我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。 SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
  論文  参考訳（メタデータ） (2023-12-28T16:51:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。