論文の概要: Human oversight of agentic systems in practice: Examining the oversight work, challenges, and heuristics of developers using software agents
- arxiv url: http://arxiv.org/abs/2606.05391v1
- Date: Wed, 03 Jun 2026 19:53:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.372913
- Title: Human oversight of agentic systems in practice: Examining the oversight work, challenges, and heuristics of developers using software agents
- Title（参考訳）: エージェントシステムの人間による監視:ソフトウェアエージェントを用いた開発者の監視作業、課題、ヒューリスティックスの検討
- Authors: Shipi Dhanorkar, Samir Passi, Mihaela Vorvoreanu,
- Abstract要約: エージェント監視に関する理論的談話の実証的アンカーを提供する。
緊急監視作業の少なくとも4つの形態として、優先順位コントロール、共同計画、リアルタイム監視、ポストホックレビューがあります。
監視作業は、既存の研究で表現されているように、反応性とふりかえりだけでなく、予防的かつ積極的なものであることを示す。
- 参考スコア（独自算出の注目度）: 5.16626559747906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous software agents hold promise to increase developer productivity but make mistakes and exhibit novel failure modes, making human oversight central to successful human-agent collaboration. Existing research on agent oversight is largely conceptual; normative frameworks exist, but how users actually oversee agents is less known. In this paper, we bridge this gap by providing early empirical anchors for the theoretical discourse on agent oversight. Drawing on interviews with 17 experienced developers, we conduct an exploratory inquiry examining what forms of emergent oversight work developers perform, when, and how. We also document the oversight challenges developers face and the strategies they have started using to address them. We found at least four forms of emergent oversight work: a priori control, co-planning, real-time monitoring, and post hoc review. We show that oversight work is not only reactive and retrospective, as portrayed in existing research, but also preventative and proactive. We describe situated oversight challenges (e.g., difficulty reviewing agent-generated code) and outline heuristics developers adopt to address such challenges (e.g., using test results as guarantees for code correctness). We conclude with high-level takeaways, future research directions, implications for the human-centered design of software agents and for software engineering practice, and limitations of our research.
- Abstract（参考訳）: 自律的なソフトウェアエージェントは、開発者の生産性を高めることを約束するが、ミスを犯し、新しい失敗モードを示す。
エージェント監視に関する既存の研究はほとんど概念的であり、規範的なフレームワークが存在するが、実際にエージェントを監督する方法はあまり知られていない。
本稿では,エージェントの監視に関する理論的議論に対して,初期の経験的アンカーを提供することにより,このギャップを埋める。
経験豊富な17人の開発者へのインタビューに基づいて、私たちは、創発的な監視作業のどのような形で開発者が実行するのか、いつどのように実行されるのかを探索的な調査を行います。
また、開発者が直面している監視上の課題と、それらに対処するために彼らが使い始めた戦略も文書化しています。
私たちは、少なくとも4種類の緊急監視作業を見つけました。優先順位コントロール、共同計画、リアルタイムモニタリング、ポストホックレビューです。
監視作業は、既存の研究で表現されているように、反応性とふりかえりだけでなく、予防的かつ積極的なものであることを示す。
このような問題(例えば、テストの結果をコードの正しさの保証として使用するなど)に対処するために、配置された監視上の課題(エージェント生成コードのレビューの困難さなど)と、開発者が採用するアウトラインヒューリスティックス(アウトラインヒューリスティックス)について説明する。
我々は,ハイレベルなテイクアウト,今後の研究方向性,ソフトウェアエージェントの人間中心設計,ソフトウェア工学の実践,研究の限界について結論づける。
関連論文リスト
- The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳（メタデータ） (2026-06-03T04:58:17Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳（メタデータ） (2026-05-18T17:59:03Z) - Beyond the 'Diff': Addressing Agentic Entropy in Agentic Software Development [42.371764229953165]
エージェントによる決定が時間やツールコール,アーキテクチャ境界を越えてどのように展開されるかを明らかにする,プロセス指向の説明可能性フレームワークを提案する。
私たちのアプローチは、既存のレビュープラクティスを置き換えるのではなく、補完するインテントレベルのテレメトリを提供します。
認知的ドリフトをコード品質と並んで第一級の関心事として扱うことで、エージェントの監視に必要な人間の理解の最小レベルを安定的に維持する。
論文 参考訳（メタデータ） (2026-03-03T12:55:28Z) - Overseeing Agents Without Constant Oversight: Challenges and Opportunities [18.59016735781908]
本稿では, 基本動作トレースの有用性を検証し, 設計プローブによる3つの選択肢を探索し, エラー検出に対する新しいインターフェースの影響を検証する。
本研究は,エージェントシステムの人為的検証の課題として,ビルトイン仮定の管理,ユーザの主観的・変化的正当性基準,エージェントのプロセスを伝える上での欠点,そして,その重要性について考察する。
論文 参考訳（メタデータ） (2026-02-18T20:16:24Z) - Real-Time Reasoning Agents in Evolving Environments [52.21796134114843]
進化する環境におけるエージェントに対する新しい問題定式化としてリアルタイム推論を導入する。
我々の研究は、実用的なエージェントを開発するための重要なテストベッドとしてリアルタイム推論を確立している。
論文 参考訳（メタデータ） (2025-11-07T00:51:02Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [60.04362496037186]
本研究は,コーディングエージェントと開発者インタラクションを制御した最初の研究である。
我々は,2つの主要な協調型およびエージェント型符号化アシスタントの評価を行った。
結果から,エージェントはコピロトを超える方法で開発者を支援することができることがわかった。
論文 参考訳（メタデータ） (2025-07-10T20:12:54Z) - CodeAgent: Autonomous Communicative Agents for Code Review [12.163258651539236]
コードレビュー自動化のための新しいマルチエージェント大規模言語モデル(LLM)システムであるツールを紹介する。
CodeAgentは、すべてのエージェントのコントリビューションが初期レビュー問題に対処するように、監督エージェントであるQA-Checkerを組み込んでいる。
結果はCodeAgentの有効性を実証し、コードレビュー自動化の新たな最先端に寄与している。
論文 参考訳（メタデータ） (2024-02-03T14:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。