論文の概要: Babysitting AI Agents: A User-Centered Taxonomy and Study of Agentic Delegation Failures
- arxiv url: http://arxiv.org/abs/2610.34748v1
- Date: Mon, 26 Oct 2026 02:49:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.709706
- Title: Babysitting AI Agents: A User-Centered Taxonomy and Study of Agentic Delegation Failures
- Title（参考訳）: Babysitting AI Agents: ユーザ中心の分類学とエージェントデリゲーション失敗の研究
- Abstract要約: 私たちは、AIエージェントの使用を説明する163,487の投稿からなるRedditの大規模なコーパスを活用して、23の障害カテゴリの分類であるMANDATEを開発しました。
73名のAIエージェント使用者の追跡調査では、重症度と注意力の有病率と知覚の関係を調べた。
私たちは、ほとんど注意を払わなかった、よく遭遇する失敗を特定します。
- 参考スコア（独自算出の注目度）: 28.63950925627969
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Users are increasingly delegating tasks to AI agents, allowing agents to perform long-running, multi-step workflows on their behalf. However, agents may perform these tasks in ways that depart from users' expectations for how they should be carried out, leading to what we call agentic delegation failures. We leverage a large corpus of 163,487 Reddit posts, describing AI agent use, to develop MANDATE: a taxonomy of 23 failure categories organized into seven groups. A follow-up study with 73 AI agent users examined the relationship between prevalence and perceptions of severity and noticeability, finding that failures rated as more severe are considered harder to notice, and that prior experience with a failure is associated with greater noticeability. Finally, we assess the maturity of research on each failure and identify commonly encountered failures that have received little attention (e.g., agents running without making progress). Our findings inform opportunities to make delegation easier for users to oversee and better studied by the research community.
- Abstract（参考訳）: ユーザーはAIエージェントにタスクを委譲し、エージェントが長時間実行された複数ステップのワークフローを代行できるようになっている。
しかし、エージェントはユーザーの期待から外れた方法でこれらのタスクを実行することができ、エージェントデリゲートの失敗と呼ばれるものにつながります。
私たちは、AIエージェントの使用を説明する大規模なReddit投稿163,487件のコーパスを活用して、MANDATE(23の障害カテゴリを7つのグループに分類する分類)を開発しました。
73人のAIエージェントユーザによるフォローアップ調査では、重大さの頻度と重大さの認識の関係を調べ、より重大と評価された障害に気づくのが難しく、失敗に対する事前の経験がより注意力に結びついていることを発見した。
最後に、各障害に関する研究の成熟度を評価し、ほとんど注意を払わなかった失敗(例えば、進捗を伴わないエージェント)を特定します。
本研究は,利用者が研究コミュニティの監督や研究を円滑に行う機会を示唆するものである。
関連論文リスト
- Uncovering Robustness Weaknesses in LLM Agents via Persona Evolution with Task-Integrity Constraints [19.618760481788502]
本稿では,エージェント固有のユーザポリシーを自動的に検出するタスク統合保存ペルソナ進化手法であるTIPERを紹介する。
4つの対話型エージェントベンチマークで、TIPERは12 GPT-5.4のすべての設定で低い保持率のavgNLP@3スコアを得る。
さらなる分析により、発見されたユーザの行動と繰り返し発生するエージェントの障害モードを結びつける行動から障害への分類が得られる。
論文 参考訳（メタデータ） (2026-10-12T04:30:20Z) - RoboQuest: Generalist Physical Agents that Search, Inspect and Test [39.17463515070178]
目標指向の実施探索のためのベンチマークであるRoboQuestを紹介する。
RoboQuestには,検索,操作ベースの検査,インタラクティブテストという,3つの不確実性を中心とした10のモバイル操作タスクが含まれている。
我々は5つのフロンティアマルチモーダルエージェントを共通のビジュモータインタフェースで評価し、また、リリースした全エピソードのデモに基づいて、$_0.5$のポリシーを微調整した。
論文 参考訳（メタデータ） (2026-10-07T16:46:45Z) - LIBERO-Agent: Evaluating General-Purpose Agents for Direct Embodied Manipulation [69.6306613959287]
汎用エージェントは、フィードバックから行動の計画、使用、修正を行うことができるが、これらの機能がデジタル環境から具体的操作へ移行するかどうかは不明だ。
本稿では,ロボット操作タスクにおけるエージェント評価のためのエージェントネイティブベンチマークであるLIBERO-Agentを紹介する。
論文 参考訳（メタデータ） (2026-09-30T11:10:10Z) - Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳（メタデータ） (2026-06-10T22:55:30Z) - Auditing and Controlling AI Agent Actions in Spreadsheets [9.249091427192786]
AIエージェントは、開始から終了まで自律的に洗練された多段階の知識ワークを実行することができる。
ユーザがアウトプットを受け取るまでには、すべての基本的な決定は、その関与なしにすでに行われています。
我々は、監査可能な制御可能なアクションに実行を分解するスプレッドシートAIエージェントであるPistaを紹介する。
論文 参考訳（メタデータ） (2026-04-22T00:32:35Z) - AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios [49.90735676070039]
持続時間と複雑さが増大するタスクを効果的に処理するAIエージェントの能力は、成長を続けている。
エージェントタスクの多様性に十分対処することなく,タスクの難易度の向上を優先している。
本稿では,自然言語命令とAIエージェントを多種多様な日常タスクに活用できるかどうかを判定するエージェントIF-OneDayを提案する。
論文 参考訳（メタデータ） (2026-01-28T13:49:18Z) - Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳（メタデータ） (2025-12-04T14:47:05Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。
WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
論文 参考訳（メタデータ） (2025-02-09T18:35:08Z) - Harnessing Pre-trained Generalist Agents for Software Engineering Tasks [13.733085206098258]
深層強化学習(DRL)は、ゲームテストやジョブショップスケジューリング問題の解決といった複雑なタスクの自動化に成功している。
専門のDRLエージェントは、他のタスクへの一般化性の欠如に悩まされており、効果的に開発および再訓練するためのかなりの時間を必要としている。
近年、DRL研究者は、様々な環境からポリシーを学習し、新しいタスクにおけるスペシャリストと同等以上のパフォーマンスを達成できるジェネラリストエージェントの開発を開始している。
論文 参考訳（メタデータ） (2023-12-24T18:39:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。