論文の概要: Understanding Cognition-Induced Risks in Agentic AI Systems
- arxiv url: http://arxiv.org/abs/2608.15304v1
- Date: Sat, 15 Aug 2026 16:16:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.254555
- Title: Understanding Cognition-Induced Risks in Agentic AI Systems
- Title（参考訳）: エージェントAIシステムにおける認知誘発リスクの理解
- Abstract要約: 大規模言語モデル(LLM)を利用したエージェントシステムは、人間のような認知パターンを示す。
これらのシステムが様々な領域に深く統合されるにつれて、認知的関与は、研究が不十分なままの人間の社会にとって重要な関心を喚起する。
認知レベルに応じた人事、自律、制御能力に対する潜在的なリスクについて検討する。
- 参考スコア（独自算出の注目度）: 46.75121501746157
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frontier agentic systems powered by large language models (LLMs) exhibit human-like patterns of cognition. As these systems become deeply integrated across different domains, their cognitive engagement raises critical concerns for human society that remain insufficiently studied. To address this gap, we systematically analyze risks induced by expanding cognitive capabilities, following a three-level framework defined by their cognitive scope, from physical cognition to social cognition, and finally to self-referential cognition. We study their potential risks to human agency, autonomy, and control capability, corresponding to each cognitive level. We finally propose strategies to mitigate these risks and enhance the controllability of agentic AI systems, ensuring their long-term safe development.
- Abstract（参考訳）: 大規模言語モデル(LLM)を利用した最前線のエージェントシステムは、人間のような認知パターンを示す。
これらのシステムが様々な領域に深く統合されるにつれて、認知的関与は、研究が不十分なままの人間の社会にとって重要な関心を喚起する。
このギャップに対処するために,認知能力の拡大によって引き起こされるリスクを,認知範囲によって定義された3段階の枠組みに従って,身体的認知から社会的認知へ,そして最後に自己参照認知へと体系的に分析する。
認知レベルに応じた人事、自律、制御能力に対する潜在的なリスクについて検討する。
我々は、これらのリスクを軽減し、エージェントAIシステムの制御性を高め、長期的な安全な開発を確実にする戦略を最終的に提案する。
関連論文リスト
- An approach to systemic risks of AI through the lens of emergence, collective action problems, and externalities [41.99844472131922]
一般的には、システム的リスク、特にAIの定義は受け入れられていない。
人権や基本的権利に対するシステム的リスクアプローチの適用は、EU AI Actのように、比較的新しい。
これまでのところ、いくつかの概念は複雑さと出現を考慮に入れていない。
論文 参考訳（メタデータ） (2026-07-20T17:12:04Z) - A Survey of Reasoning in Autonomous Driving Systems: Open Challenges and Emerging Paradigms [49.66022971508878]
私たちは、推論はモジュラーコンポーネントからシステムの認知コアに高めるべきだと論じています。
応答性推論のトレードオフやソーシャルゲーム推論など,7つの中核的推論課題を導出し,体系化する。
我々は,LLMに基づく推論と,ミリ秒スケールで安全クリティカルな車両制御の要求との間の,高レイテンシ,熟考的特性の根本的かつ未解決な緊張関係を同定する。
論文 参考訳（メタデータ） (2026-03-11T07:40:53Z) - AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳（メタデータ） (2025-11-27T16:56:04Z) - Identifying, Evaluating, and Mitigating Risks of AI Thought Partnerships [35.135633927249735]
新たなフレームワークを通じて、AI思考パートナのリスクを特定します。
リスク評価のための具体的な指標を提案する。
開発者や政策立案者に対して、具体的な緩和戦略を提案する。
論文 参考訳（メタデータ） (2025-05-22T16:58:48Z) - From Consumption to Collaboration: Measuring Interaction Patterns to Augment Human Cognition in Open-Ended Tasks [2.048226951354646]
ジェネレーティブAIの台頭、特に大規模言語モデル(LLM)は、知識労働における認知過程を根本的に変えるものである。
本稿では、認知活動モード(探索対搾取)と認知エンゲージメントモード(建設対有害)の2つの側面に沿って相互作用パターンを分析する枠組みを提案する。
論文 参考訳（メタデータ） (2025-04-03T17:20:36Z) - Agentic AI Needs a Systems Theory [46.36636351388794]
AI開発は現在、個々のモデル機能に過度に重点を置いている、と私たちは主張する。
エージェント認知の強化,創発的因果推論能力,メタ認知認知のメカニズムについて概説する。
システムレベルの視点は、より理解し、意図的に形作り、エージェントAIシステムに不可欠である、と私たちは強調する。
論文 参考訳（メタデータ） (2025-02-28T22:51:32Z) - Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
我々は人間の知恵について知られているものを調べ、そのAIのビジョンをスケッチする。
AIシステムは特にメタ認知に苦しむ。
スマートAIのベンチマーク、トレーニング、実装について論じる。
論文 参考訳（メタデータ） (2024-11-04T18:10:10Z) - Evaluating AI Evaluation: Perils and Prospects [8.086002368038658]
本稿では,これらのシステムに対する評価手法が根本的に不適切であることを主張する。
AIシステムを評価するためには改革が必要であり、インスピレーションを得るために認知科学に目を向けるべきである、と私は主張する。
論文 参考訳（メタデータ） (2024-07-12T12:37:13Z) - Risks of AI Scientists: Prioritizing Safeguarding Over Autonomy [65.77763092833348]
この視点は、AI科学者の脆弱性を調べ、その誤用に関連する潜在的なリスクに光を当てる。
我々は、ユーザ意図、特定の科学的領域、およびそれらが外部環境に与える影響を考慮に入れている。
本稿では,人間規制,エージェントアライメント,環境フィードバックの理解を含む三段階的枠組みを提案する。
論文 参考訳（メタデータ） (2024-02-06T18:54:07Z) - PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。
しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。
本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。
実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
論文 参考訳（メタデータ） (2024-01-22T12:11:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。