論文の概要: Risk Alignment in Agentic AI Systems

• arxiv url: http://arxiv.org/abs/2410.01927v1
• Date: Wed, 2 Oct 2024 18:21:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:54:27.666476
• Title: Risk Alignment in Agentic AI Systems
• Title（参考訳）: エージェントAIシステムにおけるリスクアライメント
• Authors: Hayley Clatterbuck, Clinton Castro, Arvo Muñoz Morán,
• Abstract要約: 監視の少ない複雑な行動を実行することができるエージェントAIは、そのようなシステムをユーザ、開発者、社会と安全に構築し整合させる方法について、新たな疑問を提起する。 リスクアライメントは、ユーザの満足度と信頼には重要ですが、社会にさらに大きな影響をもたらします。 これらの質問の重要な規範的および技術的側面を論じる3つの論文を提示する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic AIs $-$ AIs that are capable and permitted to undertake complex actions with little supervision $-$ mark a new frontier in AI capabilities and raise new questions about how to safely create and align such systems with users, developers, and society. Because agents' actions are influenced by their attitudes toward risk, one key aspect of alignment concerns the risk profiles of agentic AIs. Risk alignment will matter for user satisfaction and trust, but it will also have important ramifications for society more broadly, especially as agentic AIs become more autonomous and are allowed to control key aspects of our lives. AIs with reckless attitudes toward risk (either because they are calibrated to reckless human users or are poorly designed) may pose significant threats. They might also open 'responsibility gaps' in which there is no agent who can be held accountable for harmful actions. What risk attitudes should guide an agentic AI's decision-making? How might we design AI systems that are calibrated to the risk attitudes of their users? What guardrails, if any, should be placed on the range of permissible risk attitudes? What are the ethical considerations involved when designing systems that make risky decisions on behalf of others? We present three papers that bear on key normative and technical aspects of these questions.
• Abstract（参考訳）: Agentic AIは、AI能力の新たなフロンティアをマークし、そのようなシステムをユーザや開発者、社会と安全に構築し整合させる方法についての新たな疑問を提起する。 エージェントの行動はリスクに対する態度に影響されるため、アライメントの1つの重要な側面はエージェントAIのリスクプロファイルに関するものである。 リスクアライメントは、ユーザの満足度と信頼のために重要であるが、特にエージェントAIがより自律的になり、私たちの生活の重要な側面を制御できるようになると、社会にさらに大きな影響をもたらすだろう。 危険に対する無謀な態度(無謀なユーザーに対して調整されているか、設計が不十分である)を持つAIは、重大な脅威を引き起こす可能性がある。 また、有害行為の責任を負うエージェントが存在しない「責任ギャップ」を開くこともある。 エージェントAIの意思決定を導くには、どのようなリスク態度が必要か? ユーザのリスク態度に合わせて調整されたAIシステムを設計するには、どうすればよいのか? 許容可能なリスク態度の範囲に、どのようなガードレールを置くべきか? 他人に代わってリスクの高い判断をするシステムを設計する際に、倫理的な考慮事項は何でしょう? これらの質問の重要な規範的および技術的側面を論じる3つの論文を提示する。

関連論文リスト

• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
  信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。 私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
  論文  参考訳（メタデータ） (2024-10-25T07:53:32Z)
• What's my role? Modelling responsibility for AI-based safety-critical systems [1.0549609328807565]
  開発者や製造業者は、AI-SCSの有害な振る舞いに責任を負うことは困難である。 人間のオペレータは、作成に責任を負わなかったAI-SCS出力の結果に責任を負う"信頼性シンク"になる可能性がある。 本稿では,異なる責任感(ロール,モラル,法的,因果関係)と,それらがAI-SCSの安全性の文脈でどのように適用されるかを検討する。
  論文  参考訳（メタデータ） (2023-12-30T13:45:36Z)
• Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
  我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。 化学科学における誤用の実例を取り上げる。 我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:50:57Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• The Promise and Peril of Artificial Intelligence -- Violet Teaming Offers a Balanced Path Forward [56.16884466478886]
  本稿では、不透明で制御不能なAIシステムにおける新興問題についてレビューする。 信頼性と責任のあるAIを開発するために、紫外チームと呼ばれる統合フレームワークを提案する。 それは、設計によって積極的にリスクを管理するためのAI安全研究から生まれた。
  論文  参考訳（メタデータ） (2023-08-28T02:10:38Z)
• An Overview of Catastrophic AI Risks [38.84933208563934]
  本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。 個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。 組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています 不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
  論文  参考訳（メタデータ） (2023-06-21T03:35:06Z)
• Three lines of defense against risks from AI [0.0]
  AIリスク管理の責任者は必ずしも明確ではない。 3つの防衛ライン(3LoD)モデルは、多くの産業でベストプラクティスと考えられている。 私は、AI企業がモデルを実装できる方法を提案する。
  論文  参考訳（メタデータ） (2022-12-16T09:33:00Z)
• A Brief Overview of AI Governance for Responsible Machine Learning Systems [3.222802562733787]
  このポジションペーパーは、AIの責任ある使用を監督するように設計されたフレームワークである、AIガバナンスの簡単な紹介を提案する。 AIの確率的性質のため、それに関連するリスクは従来の技術よりもはるかに大きい。
  論文  参考訳（メタデータ） (2022-11-21T23:48:51Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。