論文の概要: AGI labs need an internal audit function
- arxiv url: http://arxiv.org/abs/2305.17038v1
- Date: Fri, 26 May 2023 15:48:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 13:47:13.391878
- Title: AGI labs need an internal audit function
- Title(参考訳): agi labsには内部監査機能が必要だ
- Authors: Jonas Schuett
- Abstract要約: 論文は、人工知能(AGI)を構築することの明確な目標を持つ組織には、内部監査機能が必要であると主張している。
AGIラボが内部監査チームを立ち上げる方法の青写真を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The paper argues that organizations that have the stated goal of building
artificial general intelligence (AGI) need an internal audit function. First,
it explains what internal audit is: a specific team that performs an ongoing
assessment of an organization's risk management practices and reports directly
to the board of directors, while being organizationally independent from senior
management. Next, the paper discusses the main benefits of internal audit for
AGI labs: it can make their risk management practices more effective; ensure
that the board of directors has a more accurate view of the current level of
risk and the effectiveness of the lab's risk management practices; signal that
the lab follows best practices in corporate governance; and serve as a contact
point for whistleblowers. However, AGI labs should be aware of a number of
limitations: internal audit adds friction; there is not much empirical evidence
in support of the above-mentioned benefits; the benefits depend on the people
involved and their ability and willingness to identify ineffective risk
management practices; setting up and maintaining an internal audit team is
costly; and it should only be seen as an additional "layer of defense", not a
silver bullet against emerging risks from AI. Finally, the paper provides a
blueprint for how AGI labs could set up an internal audit team and suggests
concrete things the team would do on a day-to-day basis. These suggestions are
based on the International Standards for the Professional Practice of Internal
Auditing Standards. In light of rapid progress in AI research and development,
AGI labs need to professionalize their risk management practices. Instead of
"reinventing the wheel", they should follow existing best practices in
corporate governance. This will not be sufficient as they approach AGI, but
they should not skip this obvious first step.
- Abstract(参考訳): 論文は、人工知能(AGI)を構築することの明確な目標を持つ組織には、内部監査機能が必要であると主張している。
まず、内部監査とは何かを説明します。組織のリスク管理プラクティスを継続的に評価し、幹部管理から組織的に独立したまま、取締役会に直接報告する特定のチーム。
次に、AGI研究所の内部監査の主な利点として、リスク管理の実践をより効果的にし、取締役会が現在のリスクのレベルと研究室のリスク管理の実践の有効性をより正確に把握し、研究所が企業経営におけるベストプラクティスに従うことを示唆し、内部告発者の接触点として機能することを挙げる。
しかし、AGIラボは、いくつかの制限に気付く必要がある:内部監査は摩擦を増す; 上記の利益を支持する実証的な証拠は多くない; 利益は、関係する人々とその非効果的なリスク管理プラクティスを特定する能力と意志に依存する; 内部監査チームのセットアップと維持にはコストがかかる; 追加の「防衛の層」としてのみ見なされるべきであり、AIの新たなリスクに対する銀の弾丸ではない。
最後に、この論文は、AGIラボが内部監査チームを立ち上げる方法の青写真を提供し、チームが日々行う具体的なことを提案している。
これらの提案は、内部監査標準の専門的実践に関する国際標準に基づいている。
AI研究開発の急速な進歩を踏まえ、AGIラボはリスク管理の実践を専門化する必要がある。
車輪を再発明する”代わりに、企業ガバナンスにおける既存のベストプラクティスに従うべきです。
これはAGIに近づくほど不十分だが、この明確な第一歩をスキップするべきではない。
関連論文リスト
- A Safe Harbor for AI Evaluation and Red Teaming [124.89885800509505]
一部の研究者は、そのような研究の実施や研究成果の公表が、アカウント停止や法的報復につながることを恐れている。
我々は、主要なAI開発者が法的、技術的に安全な港を提供することを約束することを提案します。
これらのコミットメントは、ジェネレーティブAIのリスクに取り組むための、より包括的で意図しないコミュニティ努力への必要なステップである、と私たちは信じています。
論文 参考訳(メタデータ) (2024-03-07T20:55:08Z) - Beyond Recommender: An Exploratory Study of the Effects of Different AI
Roles in AI-Assisted Decision Making [48.179458030691286]
Recommender、Analyzer、Devil's Advocateの3つのAIの役割について検討する。
以上の結果から,各役割のタスクパフォーマンス,信頼性の適切性,ユーザエクスペリエンスにおける長所と短所が明らかとなった。
これらの洞察は、異なる状況に応じて適応的な機能的役割を持つAIアシスタントを設計する上で、貴重な意味を提供する。
論文 参考訳(メタデータ) (2024-03-04T07:32:28Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - Red-Teaming for Generative AI: Silver Bullet or Security Theater? [48.14185138002871]
我々は、AI産業における最近の赤チーム活動の事例を特定し、関連する研究文献を広範囲に調査し、AI赤チーム実践のスコープ、構造、基準を特徴づける。
分析の結果,活動の目的,評価対象のアーティファクト,活動の実施状況,その結果の判断など,AIの事前の方法と実践が複数の軸に沿って分散していることが判明した。
我々は、レッドチーム化は、GenAIモデルの行動改善を目的とした幅広い活動と態度を特徴付ける上で、価値ある大胆なアイデアであるかもしれないと論じる。
論文 参考訳(メタデータ) (2024-01-29T05:46:14Z) - AI auditing: The Broken Bus on the Road to AI Accountability [1.9758196889515185]
「AI監査」エコシステムは泥だらけで不正確で、様々な概念を掘り下げて、実践に関わるステークホルダーをマップアウトするのは困難です。
まず、規制当局、法律事務所、市民社会、ジャーナリズム、アカデミック、コンサルティング機関による現在のAI監査の実践を分類する。
私たちは、AI監査研究のごく一部だけが、望ましい説明責任の結果に変換されていることに気付きました。
論文 参考訳(メタデータ) (2024-01-25T19:00:29Z) - Investigating Algorithm Review Boards for Organizational Responsible
Artificial Intelligence Governance [0.16385815610837165]
社内RAIガバナンスの経験について、組織タイプを越えた17のテクニカルコントリビュータにインタビューした。
アルゴリズムレビュー委員会(ARB)と類似のレビュー委員会について,本研究の最初の詳細な知見を要約した。
以上の結果から,既存の内部規制アプローチとリーダシップ購入との統合が,成功の最も重要な要因であることが示唆された。
論文 参考訳(メタデータ) (2024-01-23T20:53:53Z) - Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳(メタデータ) (2023-12-11T18:50:57Z) - Who Audits the Auditors? Recommendations from a field scan of the
algorithmic auditing ecosystem [0.971392598996499]
AI監査エコシステムの最初の包括的なフィールドスキャンを提供する。
私たちは、新たなベストプラクティスと、一般的になりつつある方法やツールを特定します。
これらの監査の質と影響を改善するための政策勧告を概説する。
論文 参考訳(メタデータ) (2023-10-04T01:40:03Z) - Towards best practices in AGI safety and governance: A survey of expert
opinion [0.0]
OpenAI、Google DeepMind、Anthropicといった主要なAI企業は、人工知能(AGI)システムを構築するという目標を掲げている。
この目標を追求することで、大きなリスクをもたらすAIシステムを開発、デプロイすることが可能になる。
ベストプラクティスの特定を支援するため,AGIラボ,アカデミック,市民社会の専門家92名を対象に調査を行った。
論文 参考訳(メタデータ) (2023-05-11T21:54:30Z) - Three lines of defense against risks from AI [0.0]
AIリスク管理の責任者は必ずしも明確ではない。
3つの防衛ライン(3LoD)モデルは、多くの産業でベストプラクティスと考えられている。
私は、AI企業がモデルを実装できる方法を提案する。
論文 参考訳(メタデータ) (2022-12-16T09:33:00Z) - Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。
既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。
本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
論文 参考訳(メタデータ) (2020-06-22T10:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。