論文の概要: Visibility into AI Agents
- arxiv url: http://arxiv.org/abs/2401.13138v1
- Date: Tue, 23 Jan 2024 23:18:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 15:51:08.350958
- Title: Visibility into AI Agents
- Title(参考訳): AIエージェントへの可視性
- Authors: Alan Chan, Carson Ezell, Max Kaufmann, Kevin Wei, Lewis Hammond,
Herbie Bradley, Emma Bluemke, Nitarshan Rajkumar, David Krueger, Noam Kolt,
Lennart Heim, Markus Anderljung
- Abstract要約: AIエージェントに対する商業的、科学的、政府的、個人的活動の委譲の増加は、既存の社会的リスクを悪化させる可能性がある。
我々はAIエージェントの視認性を高めるための3つの尺度を評価する。
- 参考スコア(独自算出の注目度): 9.311198535244023
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Increased delegation of commercial, scientific, governmental, and personal
activities to AI agents -- systems capable of pursuing complex goals with
limited supervision -- may exacerbate existing societal risks and introduce new
risks. Understanding and mitigating these risks involves critically evaluating
existing governance structures, revising and adapting these structures where
needed, and ensuring accountability of key stakeholders. Information about
where, why, how, and by whom certain AI agents are used, which we refer to as
\textbf{visibility}, is critical to these objectives. In this paper, we assess
three categories of measures to increase visibility into AI agents:
\textbf{agent identifiers}, \textbf{real-time monitoring}, and \textbf{activity
logging}. For each, we outline potential implementations that vary in
intrusiveness and informativeness. We analyze how the measures apply across a
spectrum of centralized through decentralized deployment contexts, accounting
for various actors in the supply chain including hardware and software service
providers. Finally, we discuss the implications of our measures for privacy and
concentration of power. Further work into understanding the measures and
mitigating their negative impacts can help to build a foundation for the
governance of AI agents.
- Abstract(参考訳): aiエージェントへの商業的、科学的、政府的、個人的活動の派遣が増加すると、既存の社会的なリスクを悪化させ、新たなリスクをもたらす可能性がある。
これらのリスクの理解と緩和には、既存のガバナンス構造を批判的に評価し、必要に応じてこれらの構造を改訂し、適応させ、主要なステークホルダーの説明責任を確保することが含まれる。
我々が \textbf{visibility}と呼ぶ特定のaiエージェントを使用する場所、理由、方法、および方法に関する情報は、これらの目的にとって重要である。
本稿では,aiエージェントの可視性を高めるための3つの指標, \textbf{agent identifiers}, \textbf{real-time monitoring}, \textbf{activity logging}について評価する。
それぞれ、侵入性と情報性に異なる潜在的な実装について概説する。
ハードウェアやソフトウェアサービスプロバイダを含むサプライチェーンのさまざまなアクターを考慮し、分散デプロイメントのコンテキストを通じて、この措置をどのように適用するかを分析する。
最後に,当社のプライバシー対策と電力集中の意義について論じる。
措置の理解と負の影響軽減に関するさらなる取り組みは、AIエージェントのガバナンスのための基盤を構築するのに役立つ。
関連論文リスト
- Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。
我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。
3つの主要株主グループに対する脅威もマップ化しています。
論文 参考訳(メタデータ) (2024-03-20T05:17:22Z) - Governing Through the Cloud: The Intermediary Role of Compute Providers in AI Regulation [14.704747149179047]
計算プロバイダは、AI開発とデプロイメントに関連する法的義務と倫理的責任を持つべきだ、と我々は主張する。
コンピューティングプロバイダは,4つの重要な能力を通じて,規制エコシステムにおいて重要な役割を果たすことができます。
論文 参考訳(メタデータ) (2024-03-13T13:08:16Z) - Computing Power and the Governance of Artificial Intelligence [51.967584623262674]
政府や企業は、AIを管理する手段として計算を活用し始めている。
計算ベースのポリシーと技術は、これらの領域を補助する可能性があるが、実装の準備ができている点で大きなバリエーションがある。
プライバシーや経済的影響、権力の中央集権化といった分野において、ガバナンスの計算方法の素早い、あるいは不十分なアプローチは重大なリスクを伴います。
論文 参考訳(メタデータ) (2024-02-13T21:10:21Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [76.95062553043607]
大きな言語モデル(LLM)を評価することは、その能力を理解し、実践的なアプリケーションへの統合を促進するために不可欠である。
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
論文 参考訳(メタデータ) (2024-01-24T01:51:00Z) - PsySafe: A Comprehensive Framework for Psychological-based Attack,
Defense, and Evaluation of Multi-agent System Safety [73.51336434996931]
大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。
しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。
本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。
実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
論文 参考訳(メタデータ) (2024-01-22T12:11:55Z) - IxDRL: A Novel Explainable Deep Reinforcement Learning Toolkit based on
Analyses of Interestingness [0.0]
面白さの分析に基づく新しい枠組みを提案する。
本ツールは,興味深い分析から得られたRLエージェント能力の様々な測定方法を提供する。
我々のフレームワークはエージェント設計者にRLエージェント能力に関する洞察を与えることができることを示す。
論文 参考訳(メタデータ) (2023-07-18T02:43:19Z) - 'Team-in-the-loop' organisational oversight of high-stakes AI [0.0]
本稿では,制度分析による臨床意思決定の監督に対するAIの影響について考察する。
既存の監視は、専門的なトレーニング要件の中でネストされており、説明や質問に大きく依存しています。
我々は、ハイテイクな公共セクター展開において、AIの採用に必要なシステムレベルの分析を概念化するために、より広範な 'team-in-the-loop' レンズを提案する。
論文 参考訳(メタデータ) (2023-03-24T14:01:00Z) - Global and Local Analysis of Interestingness for Competency-Aware Deep
Reinforcement Learning [0.0]
我々は「興味」の分析に基づく説明可能な強化学習(RL)のための最近提案されたフレームワークを拡張した。
当社のツールは,RLエージェントの能力,能力と限界に関する洞察を提供し,ユーザがより情報的な意思決定を行えるようにします。
論文 参考訳(メタデータ) (2022-11-11T17:48:42Z) - Inverse Online Learning: Understanding Non-Stationary and Reactionary
Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。
一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。
本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。
UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文 参考訳(メタデータ) (2022-03-14T17:40:42Z) - Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable
Claims [59.64274607533249]
AI開発者は、責任を負うことのできる検証可能な主張をする必要がある。
このレポートは、さまざまな利害関係者がAIシステムに関するクレームの妥当性を改善するための様々なステップを示唆している。
我々は、この目的のための10のメカニズム、すなわち、組織、ソフトウェア、ハードウェアを分析し、それらのメカニズムの実装、探索、改善を目的とした推奨を行う。
論文 参考訳(メタデータ) (2020-04-15T17:15:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。