論文の概要: The Problem of Algorithmic Collisions: Mitigating Unforeseen Risks in a Connected World
- arxiv url: http://arxiv.org/abs/2505.20181v1
- Date: Mon, 26 May 2025 16:22:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 19:27:26.936537
- Title: The Problem of Algorithmic Collisions: Mitigating Unforeseen Risks in a Connected World
- Title(参考訳): アルゴリズム衝突の諸問題:連結世界における予期せぬリスクの軽減
- Authors: Maurice Chiodo, Dennis Müller,
- Abstract要約: 人工知能(AI)やその他の自律的なアルゴリズムシステムの展開が増加し、世界は新たなシステム的リスクを抱えている。
現在のガバナンスフレームワークは、この複雑な相互作用のエコシステムの可視性を欠いているため、不十分です。
本稿では、この課題の性質を概説し、フェーズドシステム登録による透明性と説明責任の向上、デプロイメントのライセンスフレームワーク、監視機能の強化などに焦点を当てた初期方針を提案する。
- 参考スコア(独自算出の注目度): 2.8775022881551666
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The increasing deployment of Artificial Intelligence (AI) and other autonomous algorithmic systems presents the world with new systemic risks. While focus often lies on the function of individual algorithms, a critical and underestimated danger arises from their interactions, particularly when algorithmic systems operate without awareness of each other, or when those deploying them are unaware of the full algorithmic ecosystem deployment is occurring in. These interactions can lead to unforeseen, rapidly escalating negative outcomes - from market crashes and energy supply disruptions to potential physical accidents and erosion of public trust - often exceeding the human capacity for effective monitoring and the legal capacities for proper intervention. Current governance frameworks are inadequate as they lack visibility into this complex ecosystem of interactions. This paper outlines the nature of this challenge and proposes some initial policy suggestions centered on increasing transparency and accountability through phased system registration, a licensing framework for deployment, and enhanced monitoring capabilities.
- Abstract(参考訳): 人工知能(AI)やその他の自律的なアルゴリズムシステムの展開が増加し、世界は新たなシステム的リスクを抱えている。
個々のアルゴリズムの機能に重点を置いている場合が多いが、特にアルゴリズムシステムが相互に意識せずに運用されている場合や、アルゴリズムエコシステムが完全に展開されていることを意識していない場合など、その相互作用から重要かつ過小評価される危険性が生じる。
これらの相互作用は、市場崩壊やエネルギー供給の破壊、潜在的な物理的事故、公的信頼の侵食など、予期せぬ、急速に悪化するネガティブな結果をもたらす可能性がある。
現在のガバナンスフレームワークは、この複雑な相互作用のエコシステムの可視性を欠いているため、不十分です。
本稿では、この課題の性質を概説し、フェーズドシステム登録による透明性と説明責任の向上、デプロイメントのライセンスフレームワーク、監視機能の強化などに焦点を当てた初期方針を提案する。
関連論文リスト
- Open Challenges in Multi-Agent Security: Towards Secure Systems of Interacting AI Agents [0.0]
分散AIエージェントはすぐにインターネットプラットフォーム間で対話し、従来のサイバーセキュリティやAI安全フレームワークを超えたセキュリティ上の課題を生み出す。
textbfmulti-agent Securityは、分散化されたAIエージェントのネットワークを、そのインタラクションを通じて出現または増幅する脅威に対して保護する、新たな分野である。
論文 参考訳(メタデータ) (2025-05-04T12:03:29Z) - Multi-Agent Risks from Advanced AI [90.74347101431474]
先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。
エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。
各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
論文 参考訳(メタデータ) (2025-02-19T23:03:21Z) - Safety is Essential for Responsible Open-Ended Systems [47.172735322186]
オープンエンドレスネス(Open-Endedness)とは、AIシステムが新規で多様なアーティファクトやソリューションを継続的に自律的に生成する能力である。
このポジションペーパーは、Open-Ended AIの本質的に動的で自己伝播的な性質は、重大な、未発見のリスクをもたらすと主張している。
論文 参考訳(メタデータ) (2025-02-06T21:32:07Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳(メタデータ) (2023-10-26T17:59:06Z) - Advancements In Crowd-Monitoring System: A Comprehensive Analysis of
Systematic Approaches and Automation Algorithms: State-of-The-Art [0.0]
群衆監視システムは、ビジョンベースおよび非ビジョンベース技術を含む、分岐したアプローチに依存している。
本稿では、人工知能(AI)アルゴリズムとモデルの自動システムへの組み入れに関する詳細な分析を行う。
論文 参考訳(メタデータ) (2023-08-07T20:50:48Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-27T14:47:52Z) - Harms from Increasingly Agentic Algorithmic Systems [21.613581713046464]
公正性、説明責任、透明性、倫理(FATE)の研究は、多くのアルゴリズム的害の源泉と形態を確立している。
継続的な被害にもかかわらず、同じ害の永続性を脅かす新しいシステムが開発され、展開されている。
論文 参考訳(メタデータ) (2023-02-20T21:42:41Z) - SOTIF Entropy: Online SOTIF Risk Quantification and Mitigation for
Autonomous Driving [16.78084912175149]
本稿では,SOTIFリスクを最小化するための体系的アプローチとして,自己監視・自己適応システムを提案する。
このシステムのコアは、自動運転車内で実装された人工知能アルゴリズムのリスクモニタリングである。
固有認識アルゴリズムのリスクと外部衝突のリスクは、SOTIFエントロピーを介して共同で定量化される。
論文 参考訳(メタデータ) (2022-11-08T05:02:12Z) - Overcoming Failures of Imagination in AI Infused System Development and
Deployment [71.9309995623067]
NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。
我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
論文 参考訳(メタデータ) (2020-11-26T18:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。