論文の概要: Systemic Risks of Interacting AI
- arxiv url: http://arxiv.org/abs/2512.17793v1
- Date: Fri, 19 Dec 2025 16:59:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-22 19:25:54.503039
- Title: Systemic Risks of Interacting AI
- Title(参考訳): 対話型AIのシステム的リスク
- Authors: Paul Darius, Thomas Hoppe, Andrei Aleksandrov,
- Abstract要約: 既存の文献から多種多様なシステム的リスク事例を考察する。
特定されたリスクを分類し、異なるグループに分類する。
対話型AIシステムの可視化のためのグラフィカル言語"Agentology"を開発した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we investigate system-level emergent risks of interacting AI agents. The core contribution of this work is an exploratory scenario-based identification of these risks as well as their categorization. We consider a multitude of systemic risk examples from existing literature and develop two scenarios demonstrating emergent risk patterns in domains of smart grid and social welfare. We provide a taxonomy of identified risks that categorizes them in different groups. In addition, we make two other important contributions: first, we identify what emergent behavior types produce systemic risks, and second, we develop a graphical language "Agentology" for visualization of interacting AI systems. Our study opens a new research direction for system-level risks of interacting AI, and is the first to closely investigate them.
- Abstract(参考訳): 本研究では,対話型AIエージェントのシステムレベルの緊急リスクについて検討する。
この研究のコアコントリビューションは、これらのリスクと分類の探索的なシナリオベースの識別である。
本稿は,既存文献からの多種多様なリスク事例を考察し,スマートグリッドと社会福祉の領域における創発的なリスクパターンを示す2つのシナリオを開発する。
特定されたリスクを分類し、異なるグループに分類する。
第一に、創発的行動型がシステム的リスクをもたらすものを特定し、第二に、相互作用するAIシステムの可視化のためのグラフィカル言語"Agentology"を開発する。
我々の研究は、AIの相互作用によるシステムレベルのリスクに対する新たな研究の方向性を開き、それらをより深く研究する最初の試みである。
関連論文リスト
- AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳(メタデータ) (2025-11-27T16:56:04Z) - Knowledge Conceptualization Impacts RAG Efficacy [0.0786430477112975]
本稿では,伝達可能な,解釈可能なニューロシンボリックAIシステムの設計について検討する。
具体的には、'Agentic Retrieval-Augmented Generation'システムと呼ばれるシステムのクラスに焦点を当てる。
論文 参考訳(メタデータ) (2025-07-12T20:10:26Z) - Adapting Probabilistic Risk Assessment for AI [0.0]
汎用人工知能(AI)システムは、緊急リスク管理の課題を示す。
現在の手法は、しばしば選択的なテストとリスク優先順位に関する未文書の仮定に依存します。
本稿では,AIフレームワークの確率的リスクアセスメント(PRA)を紹介する。
論文 参考訳(メタデータ) (2025-04-25T17:59:14Z) - Multi-Agent Risks from Advanced AI [90.74347101431474]
先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。
エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。
各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
論文 参考訳(メタデータ) (2025-02-19T23:03:21Z) - A Taxonomy of Systemic Risks from General-Purpose AI [2.5956465292067867]
我々は、システム的リスクを、社会全体や経済に影響を及ぼす大規模な脅威と見なしている。
システム的リスクの主な源は、知識ギャップ、害を認識するための課題、そしてAI開発における予測不可能な軌道から生まれる。
本稿では,汎用AIの大規模負の社会的影響を理解し,対処するための構造的基盤を提供することで,AIの安全性研究に寄与する。
論文 参考訳(メタデータ) (2024-11-24T22:16:18Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳(メタデータ) (2024-08-08T13:19:37Z) - PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。
しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。
本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。
実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
論文 参考訳(メタデータ) (2024-01-22T12:11:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。