論文の概要: AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations

• arxiv url: http://arxiv.org/abs/2610.21624v1
• Date: Thu, 15 Oct 2026 10:05:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.02062
• Title: AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations
• Title（参考訳）: AgentPerturb:制御された相互作用摂動下でのLDMエージェントのロバスト性の評価
• Abstract要約: 本研究は、現在のフロンティアモデルのロバスト性を定量化し、摂動誘起故障のメカニズムを辿り、ロバストネス指向トレーニングに影響を及ぼす。 軌道レベルの分析により、エージェントは変更された入力をほとんど認識せず、検証せずに、しばしば破損した情報を伝播することが明らかになった。 これらの知見は、ノイズや報酬の検証、不確実性認識、回復の様々な形態をカバーする訓練目標を動機付けている。
• 参考スコア（独自算出の注目度）: 6.4504964097499835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world tasks are often complex and noisy, posing substantial challenges for LLM agents. Yet existing evaluations lack a systematic framework for jointly characterizing potential perturbation targets and types. We use this two-dimensional view to conduct a unified study that quantifies the robustness of current frontier models, traces the mechanisms behind perturbation-induced failures, and draws implications for robustness-oriented training. Through controlled evaluations on APEX-Agents and Toolathlon, we find that perturbations consistently degrade performance, while the dominant vulnerabilities vary across task environments. Trajectory-level analysis reveals that agents rarely recognize altered inputs and often propagate corrupted information without verification. A focused cost analysis further shows that successful perturbed trajectories can require substantially more computation. These findings motivate training objectives that cover diverse forms of noise and reward verification, uncertainty awareness, and recovery. We provide a rigorous benchmark-construction pipeline. Code and data will be released at https://github.com/xuyj233/AgentPerturb.
• Abstract（参考訳）: 現実世界のタスクは複雑でノイズが多いため、LLMエージェントには重大な課題が生じる。 しかし、既存の評価では、潜在的摂動目標と型を共同で特徴付けるための体系的な枠組みが欠如している。 この2次元の視点を用いて、現在のフロンティアモデルのロバスト性を定量化し、摂動誘発障害のメカニズムを辿り、ロバストネス指向トレーニングに影響を及ぼすような統一的な研究を行う。 APEX-AgentsとToolathlonの制御された評価により、摂動は継続的に性能を低下させるが、主な脆弱性はタスク環境によって異なる。 軌道レベルの分析により、エージェントは変更された入力をほとんど認識せず、検証せずに、しばしば破損した情報を伝播することが明らかになった。 集中的なコスト分析により、摂動軌道を成功させるには、かなり多くの計算が必要であることが示される。 これらの知見は、ノイズや報酬の検証、不確実性認識、回復の様々な形態をカバーする訓練目標を動機付けている。 厳格なベンチマーク・コンストラクションパイプラインを提供しています。 コードとデータはhttps://github.com/xuyj233/AgentPerturb.comで公開される。

関連論文リスト

• Agent-Centric Visual Reinforcement Learning under Dynamic Perturbations [24.021326345297535]
  静止しない現実世界の摂動をシミュレートするためのVisual Degraded Control Suite (VDCS)を導入する。 VDCS実験により,既存手法の大幅な性能劣化が確認された。 本稿では,ACO-MoE (Agen-Centric Observations with Mixture-of-Experts) を提案する。
  論文  参考訳（メタデータ） (2026-04-27T16:24:40Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• AgentV-RL: Scaling Reward Modeling with Agentic Verifier [63.55502685076245]
  試験時間スケーリング(TTS)によるLCM推論を強化する検証器が実証されている。 本稿では,報酬モデリングを多ターンツール拡張型検討プロセスに変換するフレームワークであるエージェント検証を提案する。 Agentic Verifier は並列およびシーケンシャルTS の両方で一貫した性能向上が得られることを示す。
  論文  参考訳（メタデータ） (2026-04-17T12:27:36Z)
• CompliBench: Benchmarking LLM Judges for Compliance Violation Detection in Dialogue Systems [19.083967725767387]
  CompliBenchは、マルチターン対話におけるガイドライン違反の検出とローカライズを行うLLM審査員の能力を評価するために設計された新しいベンチマークである。 ユーザとエージェントのインタラクションをシミュレートするスケーラブルで自動化されたデータ生成パイプラインを開発した。 我々の制御可能な欠陥注入プロセスは、自動的に、違反したガイドラインと正確な会話ターンの正確な接地木ラベルを出力する。
  論文  参考訳（メタデータ） (2026-04-14T05:42:41Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Agentic Reward Modeling: Verifying GUI Agent via Online Proactive Interaction [7.731207237810125]
  VAGENは、対話ツールを備えた検証エージェントを使用して、自律的に検証戦略を計画するフレームワークである。 VAGEN は LLM-as-a-Judge ベースラインと比較して評価精度が有意に向上することを示す。
  論文  参考訳（メタデータ） (2026-01-31T07:36:54Z)
• Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
  推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。 NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。 評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
  論文  参考訳（メタデータ） (2026-01-12T05:43:51Z)
• Co-Evolving Agents: Learning from Failures as Hard Negatives [38.61683607205988]
  近年の研究では、自己改善剤を自力で生成し、精製し、自身の軌道で再訓練する研究が進められている。 本稿では、目標エージェントが補助故障エージェントと共同で改善する共進化型エージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-27T09:30:33Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。