論文の概要: The Perils of Agency: How Developers Perceive, Prioritize, and Address Risks in Agentic AI Products

• arxiv url: http://arxiv.org/abs/2606.15485v1
• Date: Sat, 13 Jun 2026 21:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.654696
• Title: The Perils of Agency: How Developers Perceive, Prioritize, and Address Risks in Agentic AI Products
• Title（参考訳）: エージェントAI製品における開発者がどのように認識し、優先順位付けし、対処するか
• Authors: Hao-Ping Lee, Jessica He, David Piorkowski, Thomas Serban von Davier, Jodi Forlizzi, Sauvik Das,
• Abstract要約: エージェントAIシステムは、自律的に行動し、ツールを使用し、コンテキストに適応し、複雑な現実世界環境で運用する。 我々は、業界開発者がエージェントAI製品のリスクをどう認識し、優先順位付けし、対処するかを調査した。
• 参考スコア（独自算出の注目度）: 19.630749334675894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic AI systems act autonomously, use tools, adapt to context, and operate in complex real-world environments. However, these same characteristics can create or exacerbate product risks. We studied how industry developers (n=35) perceive, prioritize, and address the risks in their agentic AI products. We found that developers' perceptions of risk were closely tied to the qualities that made the product agentic, such as autonomy, tool use, and usage in a real-world context. Developers prioritized product and business risks before considering downstream societal risks like job displacement and end-user privacy. This prioritization also impacted developers' ability and motivation to mitigate agentic risks. Finally, developers lacked mature controls for containing agentic risks, often relying on constraining the same characteristics that make agents useful: e.g., autonomy and goal complexity. These findings reveal a capability vs. risk control tension in agentic AI development: developers need to address risks that emerge from agentic capabilities, yet they currently have limited support for doing so without constraining agentic functionality.
• Abstract（参考訳）: エージェントAIシステムは、自律的に行動し、ツールを使用し、コンテキストに適応し、複雑な現実世界環境で運用する。 しかし、このような特徴は製品のリスクを生んだり、悪化させたりします。 我々は、業界開発者(n=35)がエージェントAI製品のリスクをどう認識し、優先順位付けし、対処するかを調査した。 リスクに対する開発者の認識は,自律性やツールの使用,実世界のコンテキストにおける使用といった,製品エージェントの持つ品質に密接に結びついていることに気付きました。 開発者は、仕事のずれやエンドユーザのプライバシーなど、下流の社会的リスクを考慮する前に、製品とビジネスのリスクを優先する。 この優先順位付けは、エージェント的リスクを軽減する開発者の能力とモチベーションにも影響を及ぼした。 最後に、開発者はエージェントリスクを含むための成熟したコントロールを欠いていた。 開発者はエージェント的能力から生じるリスクに対処する必要があるが、現在、エージェント的機能を制限することなく、それを行うためのサポートが制限されている。

関連論文リスト

• Emergent Risk Awareness in Rational Agents under Resource Constraints [2.69407449467596]
  この研究は、生存圧力下で活動するAIエージェントの創発的行動の理解と解釈可能性を高めることを目的としている。 我々は、生存駆動の嗜好シフトの影響を定量化する理論的および経験的な結果を提供する。 リスク探索やリスク回避行動の出現を緩和するメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-29T13:31:12Z)
• Fully Autonomous AI Agents Should Not be Developed [50.61667544399082]
  本稿では,完全自律型AIエージェントを開発すべきではないと主張している。 この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。 分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-04T19:00:06Z)
• Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
  Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。 こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。 この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
  論文  参考訳（メタデータ） (2024-05-14T13:37:36Z)
• Model evaluation for extreme risks [46.53170857607407]
  AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。 モデル評価が極端なリスクに対処するために重要である理由を説明します。
  論文  参考訳（メタデータ） (2023-05-24T16:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。