論文の概要: AI Systems of Concern
- arxiv url: http://arxiv.org/abs/2310.05876v1
- Date: Mon, 9 Oct 2023 17:15:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-10 22:09:16.642435
- Title: AI Systems of Concern
- Title(参考訳): 懸念のAIシステム
- Authors: Kayla Matteucci, Shahar Avin, Fazl Barez, Se\'an \'O h\'Eigeartaigh
- Abstract要約: 我々は、"Property X"の特徴は本質的に危険であり、より大きな能力と組み合わせると、安全と制御の保証が難しいAIシステムになると主張している。
本稿では,リスクの高い "Property X" 特性を持つシステムの開発を識別・制限するための指標とガバナンスの介入を提案する。
- 参考スコア(独自算出の注目度): 2.357801824859391
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concerns around future dangers from advanced AI often centre on systems
hypothesised to have intrinsic characteristics such as agent-like behaviour,
strategic awareness, and long-range planning. We label this cluster of
characteristics as "Property X". Most present AI systems are low in "Property
X"; however, in the absence of deliberate steering, current research directions
may rapidly lead to the emergence of highly capable AI systems that are also
high in "Property X". We argue that "Property X" characteristics are
intrinsically dangerous, and when combined with greater capabilities will
result in AI systems for which safety and control is difficult to guarantee.
Drawing on several scholars' alternative frameworks for possible AI research
trajectories, we argue that most of the proposed benefits of advanced AI can be
obtained by systems designed to minimise this property. We then propose
indicators and governance interventions to identify and limit the development
of systems with risky "Property X" characteristics.
- Abstract(参考訳): 高度なaiによる将来の危険性に関する懸念は、エージェントのような振る舞い、戦略的認識、長距離計画といった本質的な特徴を持つと仮定されるシステムに集中することが多い。
この特徴のクラスタを"Property X"とラベル付けします。
現代のAIシステムの多くは"Property X"では低いが、意図的なステアリングがなければ、現在の研究方向は"Property X"でも高い能力を持つAIシステムの出現に急速に繋がる可能性がある。
我々は、"Property X"の特徴は本質的に危険であり、より大きな能力と組み合わせると、安全と制御の保証が難しいAIシステムになると主張している。
いくつかの研究者によるai研究の軌跡の代替フレームワークについて考察し、提案された高度なaiの利点のほとんどは、この性質を最小化するために設計されたシステムによって得られると論じる。
次に,リスクの高い"プロパティx"特性を持つシステムの開発を識別し,制限するための指標とガバナンス介入を提案する。
関連論文リスト
- Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。
本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
論文 参考訳(メタデータ) (2024-02-28T16:09:56Z) - Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic
Systems [67.01132165581667]
本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。
本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
論文 参考訳(メタデータ) (2023-11-13T21:20:17Z) - Managing AI Risks in an Era of Rapid Progress [147.61764296776164]
我々は、大規模社会被害と悪用、および自律型AIシステムに対する人間の制御の不可逆的喪失について検討する。
迅速かつ継続的なAIの進歩を踏まえ、我々はAI研究開発とガバナンスの緊急優先事項を提案する。
論文 参考訳(メタデータ) (2023-10-26T17:59:06Z) - AI Hazard Management: A framework for the systematic management of root
causes for AI risks [0.0]
本稿ではAI Hazard Management(AIHM)フレームワークを紹介する。
AIのハザードを体系的に識別し、評価し、治療するための構造化されたプロセスを提供する。
総合的な最先端分析からAIハザードリストを構築する。
論文 参考訳(メタデータ) (2023-10-25T15:55:50Z) - Predictable Artificial Intelligence [67.79118050651908]
予測可能性を達成することは、AIエコシステムの信頼、責任、コントロール、アライメント、安全性を促進するために不可欠である、と私たちは主張する。
本稿では,予測可能なAIに関する疑問,仮説,課題を解明することを目的とする。
論文 参考訳(メタデータ) (2023-10-09T21:36:21Z) - An Overview of Catastrophic AI Risks [38.84933208563934]
本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。
個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。
組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています
不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
論文 参考訳(メタデータ) (2023-06-21T03:35:06Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-04-16T11:22:59Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳(メタデータ) (2023-01-08T15:02:38Z) - Examining the Differential Risk from High-level Artificial Intelligence
and the Question of Control [0.0]
将来のAI能力の範囲と範囲は、依然として重要な不確実性である。
AIの不透明な意思決定プロセスの統合と監視の程度には懸念がある。
本研究では、AIリスクをモデル化し、代替先分析のためのテンプレートを提供する階層的な複雑なシステムフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-06T15:46:02Z) - X-Risk Analysis for AI Research [24.78742908726579]
我々は、AI x-riskの分析方法のガイドを提供する。
まず、今日のシステムの安全性についてレビューする。
次に,今後のシステムの安全性に長期的影響を与える戦略について議論する。
論文 参考訳(メタデータ) (2022-06-13T00:22:50Z) - Safe AI -- How is this Possible? [0.45687771576879593]
従来の安全エンジニアリングは、決定論的で非進化的なシステムが、明確に定義されたコンテキストで運用されるものから、予測不可能な操作コンテキストで機能する自律的で学習可能なAIシステムへと、転換点に近づいている。
我々は、安全AIの基本的な課題を概説し、AIシステムの安全な振る舞いにおいて、不確実性を最小化し、信頼性を高め、許容レベルまで、厳格なエンジニアリングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-01-25T16:32:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。