論文の概要: Agent-Supported Foresight for AI Systemic Risks: AI Agents for Breadth, Experts for Judgment
- arxiv url: http://arxiv.org/abs/2602.08565v1
- Date: Mon, 09 Feb 2026 12:03:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:25.212922
- Title: Agent-Supported Foresight for AI Systemic Risks: AI Agents for Breadth, Experts for Judgment
- Title（参考訳）: AIのシステム的リスクに対するエージェント対応の展望:AIエージェントのBreadth、専門家の判断
- Authors: Leon Fröhling, Alessandro Giaconia, Edyta Paulina Bogucka, Daniele Quercia,
- Abstract要約: 本稿では,Futures Wheelの戦略手法を用いて,シリコン内エージェントをシミュレートするスケーラブルなアプローチを提案する。
我々はこれを、Companion (TRL 9, mature), AI Toy (TRL 7, medium), Griefbot (TRL 5, Low), Death App (TRL 2, concept)の4つのAI使用例に適用した。
- 参考スコア（独自算出の注目度）: 45.98986947599775
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: AI impact assessments often stress near-term risks because human judgment degrades over longer horizons, exemplifying the Collingridge dilemma: foresight is most needed when knowledge is scarcest. To address long-term systemic risks, we introduce a scalable approach that simulates in-silico agents using the strategic foresight method of the Futures Wheel. We applied it to four AI uses spanning Technology Readiness Levels (TRLs): Chatbot Companion (TRL 9, mature), AI Toy (TRL 7, medium), Griefbot (TRL 5, low), and Death App (TRL 2, conceptual). Across 30 agent runs per use, agents produced 86-110 consequences, condensed into 27-47 unique risks. To benchmark the agent outputs against human perspectives, we collected evaluations from 290 domain experts and 7 leaders, and conducted Futures Wheel sessions with 42 experts and 42 laypeople. Agents generated many systemic consequences across runs. Compared with these outputs, experts identified fewer risks, typically less systemic but judged more likely, whereas laypeople surfaced more emotionally salient concerns that were generally less systemic. We propose a hybrid foresight workflow, wherein agents broaden systemic coverage, and humans provide contextual grounding. Our dataset is available at: https://social-dynamics.net/ai-risks/foresight.
- Abstract（参考訳）: AIのインパクトアセスメントは、人間の判断が長い地平線を上回り、コリングリッジのジレンマを実証するため、短期的リスクを強調することが多い。
長期的システム的リスクに対処するために,Futures Wheelの戦略的フォレスト手法を用いて,シリコン内エージェントをシミュレートするスケーラブルなアプローチを導入する。
我々は、Chatbot Companion(TRL 9)、AI Toy(TRL 7, medium)、Griefbot(TRL 5, Low)、Death App(TRL 2概念)の4つのAI使用例に適用した。
30以上のエージェントが1回あたり実行され、86-110の結果が生成され、27-47のユニークなリスクに凝縮される。
エージェントのアウトプットを人間の視点にベンチマークするため、290人のドメインエキスパートと7人のリーダから評価を収集し、42人のエキスパートと42人のレイパーとともにFutures Wheelセッションを行った。
エージェントは実行中に多くのシステム的な結果を生み出しました。
これらのアウトプットと比較すると、専門家はリスクを減らし、典型的には体系性は低いが、判断される可能性が高かった。
エージェントがシステムカバレッジを広げ、人間がコンテキストグラウンドを提供するハイブリッドフォレストワークフローを提案する。
私たちのデータセットは、https://social-dynamics.net/ai-risks/foresight.comで利用可能です。
関連論文リスト
- Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.787178868669265]
この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。
この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
論文 参考訳（メタデータ） (2026-02-16T04:30:06Z) - GT-HarmBench: Benchmarking AI Safety Risks Through the Lens of Game Theory [8.38197391178077]
ゲーム理論構造にまたがる2,009のハイテイクシナリオのベンチマークであるGT-HarmBenchを紹介する。
ゲーム理論のプロンプトフレーミングと順序付けに対する感度を測定し,失敗を駆動する推論パターンを分析した。
その結果,信頼性のギャップが顕著であり,マルチエージェント環境におけるアライメントを研究するための幅広い標準化されたテストベッドが提供されることがわかった。
論文 参考訳（メタデータ） (2026-02-12T17:29:52Z) - Understanding Risk and Dependency in AI Chatbot Use from User Discourse [4.1957094635667875]
本稿では,2023年から2025年にかけての2つのコミュニティ,r/AIDangers と r/ChatbotAddiction から収集したポストを大規模に解析した。
14の反復的主題カテゴリーを同定し、5つの高次経験次元に合成する。
この結果から,実世界のユーザ談話に基礎を置くAI関連心理的リスクの5つの経験的次元が明らかとなった。
論文 参考訳（メタデータ） (2026-02-10T02:16:57Z) - Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。
各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。
個々の見積もりはモンテカルロシミュレーションによって集約される。
論文 参考訳（メタデータ） (2025-12-09T17:54:17Z) - When Autonomy Goes Rogue: Preparing for Risks of Multi-Agent Collusion in Social Systems [78.04679174291329]
悪意のあるマルチエージェントシステム(MAS)のリスクをシミュレートするための概念実証手法を提案する。
この枠組みを、誤情報拡散とeコマース詐欺という2つのリスクの高い分野に適用する。
その結果,分散システムの方が,集中型システムよりも悪意ある行動を実行するのに効果的であることが示唆された。
論文 参考訳（メタデータ） (2025-07-19T15:17:30Z) - Towards Evaluating Proactive Risk Awareness of Multimodal Language Models [39.44421152112219]
プロアクティブな安全人工知能(AI)システムは、リアクティブシステムよりもうまく機能する。
PaSBenchは416のマルチモーダルシナリオを通じてこの機能を評価する。
Gemini-2.5-proのようなトップパフォーマーは、71%のイメージと64%のテキスト精度を達成したが、繰り返しトライアルで45-55%のリスクを逃した。
論文 参考訳（メタデータ） (2025-05-23T04:28:47Z) - A Proposal for Evaluating the Operational Risk for ChatBots based on Large Language Models [39.58317527488534]
3つの主要なステークホルダーに対する潜在的な脅威を同時に評価する新しいリスク評価指標を提案する。
メトリクスを検証するために、脆弱性テスト用のオープンソースのフレームワークであるGarakを活用しています。
その結果、セキュアで信頼性の高いAI駆動会話システムの運用における多次元リスクアセスメントの重要性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-05-07T20:26:45Z) - Fully Autonomous AI Agents Should Not be Developed [50.61667544399082]
本稿では,完全自律型AIエージェントを開発すべきではないと主張している。
この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。
分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
論文 参考訳（メタデータ） (2025-02-04T19:00:06Z) - HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [95.49509269498367]
本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。
私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。
我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
論文 参考訳（メタデータ） (2024-09-24T19:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。