論文の概要: Safety is Essential for Responsible Open-Ended Systems

• arxiv url: http://arxiv.org/abs/2502.04512v2
• Date: Mon, 10 Feb 2025 19:27:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 10:24:44.773656
• Title: Safety is Essential for Responsible Open-Ended Systems
• Title（参考訳）: レスポンシブルなオープンエンドシステムには安全が不可欠だ
• Authors: Ivaxi Sheth, Jan Wehner, Sahar Abdelnabi, Ruta Binkyte, Mario Fritz,
• Abstract要約: オープンエンドレスネス(Open-Endedness)とは、AIシステムが新規で多様なアーティファクトやソリューションを継続的に自律的に生成する能力である。 このポジションペーパーは、Open-Ended AIの本質的に動的で自己伝播的な性質は、重大な、未発見のリスクをもたらすと主張している。
• 参考スコア（独自算出の注目度）: 47.172735322186
• License:
• Abstract: AI advancements have been significantly driven by a combination of foundation models and curiosity-driven learning aimed at increasing capability and adaptability. A growing area of interest within this field is Open-Endedness - the ability of AI systems to continuously and autonomously generate novel and diverse artifacts or solutions. This has become relevant for accelerating scientific discovery and enabling continual adaptation in AI agents. This position paper argues that the inherently dynamic and self-propagating nature of Open-Ended AI introduces significant, underexplored risks, including challenges in maintaining alignment, predictability, and control. This paper systematically examines these challenges, proposes mitigation strategies, and calls for action for different stakeholders to support the safe, responsible and successful development of Open-Ended AI.
• Abstract（参考訳）: AIの進歩は、ファンデーションモデルと好奇心を駆使した学習を組み合わせることで、能力と適応性の向上に大きく寄与している。 この分野における関心の高まりは、オープンエンドレスネス(Open-Endedness)だ。AIシステムは、新規で多様なアーティファクトやソリューションを継続的に自律的に生成する能力である。 これは科学的な発見を加速し、AIエージェントの継続的な適応を可能にしている。 このポジションペーパーは、Open-Ended AIの本質的に動的で自己伝播的な性質は、アライメント、予測可能性、制御の維持に関する課題を含む、重大な、未発見のリスクをもたらす、と論じている。 本稿では、これらの課題を体系的に検討し、緩和戦略を提案し、オープンエンデッドAIの安全で責任があり、成功している開発を支援するために、様々な利害関係者に対する行動を求める。

関連論文リスト

• Considerations Influencing Offense-Defense Dynamics From Artificial Intelligence [0.0]
  AIは防御能力を向上するだけでなく、悪意ある搾取と大規模な社会的危害のための道も提示する。 本稿では、AIシステムが主に脅威を生じているか、社会に保護的利益をもたらすかに影響を及ぼす主要な要因をマップし、検証するための分類法を提案する。
  論文  参考訳（メタデータ） (2024-12-05T10:05:53Z)
• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Trust or Bust: Ensuring Trustworthiness in Autonomous Weapon Systems [0.0]
  本稿では,自律兵器システム(AWS)における信頼の多面的性質について考察する。 バイアス、運用上の障害、説明責任に関連するリスクを軽減するために、信頼性と透明性を備えたシステムを確立する必要性を強調します。 技術者、倫理学者、軍事戦略家を含む協力的なアプローチを提唱し、現在進行中の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-14T08:36:06Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways [10.16690494897609]
  人工知能(AI)エージェント(英: Artificial Intelligence, AI)は、自律的にタスクを実行したり、事前に定義された目的やデータ入力に基づいて決定を行うソフトウェアエンティティである。 この調査は、AIエージェントが直面している新たなセキュリティ脅威を掘り下げ、これらを4つの重要な知識ギャップに分類する。 これらの脅威を体系的にレビューすることにより、この論文はAIエージェントの保護における進歩と既存の制限の両方を強調している。
  論文  参考訳（メタデータ） (2024-06-04T01:22:31Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• AI Potentiality and Awareness: A Position Paper from the Perspective of Human-AI Teaming in Cybersecurity [18.324118502535775]
  我々は、人間とAIのコラボレーションはサイバーセキュリティに価値があると論じている。 私たちは、AIの計算能力と人間の専門知識を取り入れたバランスのとれたアプローチの重要性を強調します。
  論文  参考訳（メタデータ） (2023-09-28T01:20:44Z)
• AI Maintenance: A Robustness Perspective [91.28724422822003]
  我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。 本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。 我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
  論文  参考訳（メタデータ） (2023-01-08T15:02:38Z)
• Examining the Differential Risk from High-level Artificial Intelligence and the Question of Control [0.0]
  将来のAI能力の範囲と範囲は、依然として重要な不確実性である。 AIの不透明な意思決定プロセスの統合と監視の程度には懸念がある。 本研究では、AIリスクをモデル化し、代替先分析のためのテンプレートを提供する階層的な複雑なシステムフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-06T15:46:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。