論文の概要: Safety is Essential for Responsible Open-Ended Systems
- arxiv url: http://arxiv.org/abs/2502.04512v2
- Date: Mon, 10 Feb 2025 19:27:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-12 13:59:04.912064
- Title: Safety is Essential for Responsible Open-Ended Systems
- Title（参考訳）: レスポンシブルなオープンエンドシステムには安全が不可欠だ
- Authors: Ivaxi Sheth, Jan Wehner, Sahar Abdelnabi, Ruta Binkyte, Mario Fritz,
- Abstract要約: オープンエンドレスネス(Open-Endedness)とは、AIシステムが新規で多様なアーティファクトやソリューションを継続的に自律的に生成する能力である。
このポジションペーパーは、Open-Ended AIの本質的に動的で自己伝播的な性質は、重大な、未発見のリスクをもたらすと主張している。
- 参考スコア（独自算出の注目度）: 47.172735322186
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI advancements have been significantly driven by a combination of foundation models and curiosity-driven learning aimed at increasing capability and adaptability. A growing area of interest within this field is Open-Endedness - the ability of AI systems to continuously and autonomously generate novel and diverse artifacts or solutions. This has become relevant for accelerating scientific discovery and enabling continual adaptation in AI agents. This position paper argues that the inherently dynamic and self-propagating nature of Open-Ended AI introduces significant, underexplored risks, including challenges in maintaining alignment, predictability, and control. This paper systematically examines these challenges, proposes mitigation strategies, and calls for action for different stakeholders to support the safe, responsible and successful development of Open-Ended AI.
- Abstract（参考訳）: AIの進歩は、ファンデーションモデルと好奇心を駆使した学習を組み合わせることで、能力と適応性の向上に大きく寄与している。
この分野における関心の高まりは、オープンエンドレスネス(Open-Endedness)だ。AIシステムは、新規で多様なアーティファクトやソリューションを継続的に自律的に生成する能力である。
これは科学的な発見を加速し、AIエージェントの継続的な適応を可能にしている。
このポジションペーパーは、Open-Ended AIの本質的に動的で自己伝播的な性質は、アライメント、予測可能性、制御の維持に関する課題を含む、重大な、未発見のリスクをもたらす、と論じている。
本稿では、これらの課題を体系的に検討し、緩和戦略を提案し、オープンエンデッドAIの安全で責任があり、成功している開発を支援するために、様々な利害関係者に対する行動を求める。
関連論文リスト
- Perceptions of Agentic AI in Organizations: Implications for Responsible AI and ROI [0.0]
本稿では,エージェントAIの出現する状況の中で,組織がこのようなフレームワークをどのように認識し,適応するかを検討する。
エージェントAIシステムの本質的な複雑さと、その責任ある実装は、責任あるAI次元とテーマフレームワークの複雑な相互接続性に根ざし、組織的適応における重大な課題に寄与している。
論文 参考訳（メタデータ） (2025-04-15T19:15:06Z) - A Framework for the Assurance of AI-Enabled Systems [0.0]
本稿では,AIシステムのリスク管理と保証のためのクレームベースのフレームワークを提案する。
論文のコントリビューションは、AI保証のためのフレームワークプロセス、関連する定義のセット、AI保証における重要な考慮事項に関する議論である。
論文 参考訳（メタデータ） (2025-04-03T13:44:01Z) - AI Risk Atlas: Taxonomy and Tooling for Navigating AI Risks and Resources [24.502423087280008]
AIリスクアトラス(AI Risk Atlas)は、さまざまなソースからAIリスクを統合し、それらをガバナンスフレームワークと整合させる、構造化された分類法である。
私たちはまた、リスク定義、ベンチマーク、データセット、緩和戦略の分割を橋渡しするために設計されたオープンソースのツールのコレクションであるR Risk Atlas Nexusを紹介します。
論文 参考訳（メタデータ） (2025-02-26T12:23:14Z) - Considerations Influencing Offense-Defense Dynamics From Artificial Intelligence [0.0]
AIは防御能力を向上するだけでなく、悪意ある搾取と大規模な社会的危害のための道も提示する。
本稿では、AIシステムが主に脅威を生じているか、社会に保護的利益をもたらすかに影響を及ぼす主要な要因をマップし、検証するための分類法を提案する。
論文 参考訳（メタデータ） (2024-12-05T10:05:53Z) - Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
AIシステムは知恵を欠いている。
AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。
メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
論文 参考訳（メタデータ） (2024-11-04T18:10:10Z) - Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-09-23T10:18:10Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳（メタデータ） (2024-02-21T08:29:42Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Predictable Artificial Intelligence [77.1127726638209]
本稿では予測可能なAIのアイデアと課題を紹介する。
それは、現在および将来のAIエコシステムの重要な妥当性指標を予測できる方法を探る。
予測可能性を達成することは、AIエコシステムの信頼、責任、コントロール、アライメント、安全性を促進するために不可欠である、と私たちは主張する。
論文 参考訳（メタデータ） (2023-10-09T21:36:21Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳（メタデータ） (2023-01-08T15:02:38Z) - Examining the Differential Risk from High-level Artificial Intelligence
and the Question of Control [0.0]
将来のAI能力の範囲と範囲は、依然として重要な不確実性である。
AIの不透明な意思決定プロセスの統合と監視の程度には懸念がある。
本研究では、AIリスクをモデル化し、代替先分析のためのテンプレートを提供する階層的な複雑なシステムフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-06T15:46:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。