論文の概要: Agent-Supported Foresight for AI Systemic Risks: AI Agents for Breadth, Experts for Judgment
- arxiv url: http://arxiv.org/abs/2602.08565v1
- Date: Mon, 09 Feb 2026 12:03:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:25.212922
- Title: Agent-Supported Foresight for AI Systemic Risks: AI Agents for Breadth, Experts for Judgment
- Title(参考訳): AIのシステム的リスクに対するエージェント対応の展望:AIエージェントのBreadth、専門家の判断
- Authors: Leon Fröhling, Alessandro Giaconia, Edyta Paulina Bogucka, Daniele Quercia,
- Abstract要約: 本稿では,Futures Wheelの戦略手法を用いて,シリコン内エージェントをシミュレートするスケーラブルなアプローチを提案する。
我々はこれを、Companion (TRL 9, mature), AI Toy (TRL 7, medium), Griefbot (TRL 5, Low), Death App (TRL 2, concept)の4つのAI使用例に適用した。
- 参考スコア(独自算出の注目度): 45.98986947599775
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: AI impact assessments often stress near-term risks because human judgment degrades over longer horizons, exemplifying the Collingridge dilemma: foresight is most needed when knowledge is scarcest. To address long-term systemic risks, we introduce a scalable approach that simulates in-silico agents using the strategic foresight method of the Futures Wheel. We applied it to four AI uses spanning Technology Readiness Levels (TRLs): Chatbot Companion (TRL 9, mature), AI Toy (TRL 7, medium), Griefbot (TRL 5, low), and Death App (TRL 2, conceptual). Across 30 agent runs per use, agents produced 86-110 consequences, condensed into 27-47 unique risks. To benchmark the agent outputs against human perspectives, we collected evaluations from 290 domain experts and 7 leaders, and conducted Futures Wheel sessions with 42 experts and 42 laypeople. Agents generated many systemic consequences across runs. Compared with these outputs, experts identified fewer risks, typically less systemic but judged more likely, whereas laypeople surfaced more emotionally salient concerns that were generally less systemic. We propose a hybrid foresight workflow, wherein agents broaden systemic coverage, and humans provide contextual grounding. Our dataset is available at: https://social-dynamics.net/ai-risks/foresight.
- Abstract(参考訳): AIのインパクトアセスメントは、人間の判断が長い地平線を上回り、コリングリッジのジレンマを実証するため、短期的リスクを強調することが多い。
長期的システム的リスクに対処するために,Futures Wheelの戦略的フォレスト手法を用いて,シリコン内エージェントをシミュレートするスケーラブルなアプローチを導入する。
我々は、Chatbot Companion(TRL 9)、AI Toy(TRL 7, medium)、Griefbot(TRL 5, Low)、Death App(TRL 2概念)の4つのAI使用例に適用した。
30以上のエージェントが1回あたり実行され、86-110の結果が生成され、27-47のユニークなリスクに凝縮される。
エージェントのアウトプットを人間の視点にベンチマークするため、290人のドメインエキスパートと7人のリーダから評価を収集し、42人のエキスパートと42人のレイパーとともにFutures Wheelセッションを行った。
エージェントは実行中に多くのシステム的な結果を生み出しました。
これらのアウトプットと比較すると、専門家はリスクを減らし、典型的には体系性は低いが、判断される可能性が高かった。
エージェントがシステムカバレッジを広げ、人間がコンテキストグラウンドを提供するハイブリッドフォレストワークフローを提案する。
私たちのデータセットは、https://social-dynamics.net/ai-risks/foresight.comで利用可能です。
関連論文リスト
- Towards Evaluating Proactive Risk Awareness of Multimodal Language Models [39.44421152112219]
プロアクティブな安全人工知能(AI)システムは、リアクティブシステムよりもうまく機能する。
PaSBenchは416のマルチモーダルシナリオを通じてこの機能を評価する。
Gemini-2.5-proのようなトップパフォーマーは、71%のイメージと64%のテキスト精度を達成したが、繰り返しトライアルで45-55%のリスクを逃した。
論文 参考訳(メタデータ) (2025-05-23T04:28:47Z) - Fully Autonomous AI Agents Should Not be Developed [50.61667544399082]
本稿では,完全自律型AIエージェントを開発すべきではないと主張している。
この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。
分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
論文 参考訳(メタデータ) (2025-02-04T19:00:06Z) - HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [95.49509269498367]
本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。
私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。
我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
論文 参考訳(メタデータ) (2024-09-24T19:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。