論文の概要: Generative AI Agents in Autonomous Machines: A Safety Perspective

• arxiv url: http://arxiv.org/abs/2410.15489v1
• Date: Sun, 20 Oct 2024 20:07:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:19:29.353715
• Title: Generative AI Agents in Autonomous Machines: A Safety Perspective
• Title（参考訳）: 自律機械における生成AIエージェントの安全性
• Authors: Jason Jabbour, Vijay Janapa Reddi,
• Abstract要約: 生成AIエージェントは、非並列機能を提供するが、ユニークな安全性上の懸念もある。 本研究では、生成モデルが物理自律機械にエージェントとして統合される際の安全要件の進化について検討する。 我々は、自律機械で生成AI技術を使用するための総合的な安全スコアカードの開発と実装を推奨する。
• 参考スコア（独自算出の注目度）: 9.02400798202199
• License:
• Abstract: The integration of Generative Artificial Intelligence (AI) into autonomous machines represents a major paradigm shift in how these systems operate and unlocks new solutions to problems once deemed intractable. Although generative AI agents provide unparalleled capabilities, they also have unique safety concerns. These challenges require robust safeguards, especially for autonomous machines that operate in high-stakes environments. This work investigates the evolving safety requirements when generative models are integrated as agents into physical autonomous machines, comparing these to safety considerations in less critical AI applications. We explore the challenges and opportunities to ensure the safe deployment of generative AI-driven autonomous machines. Furthermore, we provide a forward-looking perspective on the future of AI-driven autonomous systems and emphasize the importance of evaluating and communicating safety risks. As an important step towards addressing these concerns, we recommend the development and implementation of comprehensive safety scorecards for the use of generative AI technologies in autonomous machines.
• Abstract（参考訳）: 生成人工知能(AI)を自律機械に統合することは、これらのシステムが動作し、難解な問題に対する新しい解決策を解き放つための大きなパラダイムシフトである。 生成AIエージェントは例外のない能力を提供するが、ユニークな安全性上の懸念もある。 これらの課題は、特にハイステーク環境で稼働する自律機械に対して、堅牢なセーフガードを必要とする。 本研究は、生成モデルが物理自律機械にエージェントとして統合される際の安全要件の進化について、より重要でないAIアプリケーションにおける安全性に関する考察と比較する。 我々は、生成AI駆動の自律機械の安全な展開を保証するための課題と機会を探る。 さらに、AI駆動型自律システムの将来を前方視し、安全リスクの評価とコミュニケーションの重要性を強調します。 これらの懸念に対処するための重要なステップとして、自動機械で生成AI技術を使用するための総合的な安全スコアカードの開発と実装を推奨する。

関連論文リスト

• SafeEmbodAI: a Safety Framework for Mobile Robots in Embodied AI Systems [5.055705635181593]
  物理的世界と自律的に対話するAIロボットを含む、身体化されたAIシステムは、かなり進歩している。 不適切な安全管理は、複雑な環境で障害を引き起こし、悪意のあるコマンドインジェクションに対してシステムが脆弱になる。 我々は,移動ロボットを組込みAIシステムに統合するための安全フレームワークであるtextitSafeEmbodAIを提案する。
  論文  参考訳（メタデータ） (2024-09-03T05:56:50Z)
• Work-in-Progress: Crash Course: Can (Under Attack) Autonomous Driving Beat Human Drivers? [60.51287814584477]
  本稿では,現在のAVの状況を調べることによって,自律運転における本質的なリスクを評価する。 AVの利点と、現実のシナリオにおける潜在的なセキュリティ課題との微妙なバランスを強調した、特定のクレームを開発する。
  論文  参考訳（メタデータ） (2024-05-14T09:42:21Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• Inherent Diverse Redundant Safety Mechanisms for AI-based Software Elements in Automotive Applications [1.6495054381576084]
  本稿では,自律走行システムにおける人工知能(AI)アルゴリズムの役割と課題について考察する。 主な関心事は、AIモデルの初期のトレーニングデータを超えて一般化する能力(と必要性)に関連している。 本稿では、自律運転のような安全クリティカルなアプリケーションにおける過信AIモデルに関連するリスクについて検討する。
  論文  参考訳（メタデータ） (2024-02-13T04:15:26Z)
• Security Challenges in Autonomous Systems Design [1.864621482724548]
  人間のコントロールから独立すると、このようなシステムのサイバーセキュリティはさらに重要になる。 人間のコントロールから独立すると、このようなシステムのサイバーセキュリティはさらに重要になる。 本稿では,技術の現状を徹底的に議論し,新たなセキュリティ課題を特定し,研究の方向性を提案する。
  論文  参考訳（メタデータ） (2023-11-05T09:17:39Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• AI Maintenance: A Robustness Perspective [91.28724422822003]
  我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。 本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。 我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
  論文  参考訳（メタデータ） (2023-01-08T15:02:38Z)
• Towards Safe, Explainable, and Regulated Autonomous Driving [11.043966021881426]
  本稿では、自律制御、説明可能なAI(XAI)、規制コンプライアンスを統合するフレームワークを提案する。 フレームワークの目標を達成するのに役立つ、関連するXAIアプローチについて説明します。
  論文  参考訳（メタデータ） (2021-11-20T05:06:22Z)
• Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims [59.64274607533249]
  AI開発者は、責任を負うことのできる検証可能な主張をする必要がある。 このレポートは、さまざまな利害関係者がAIシステムに関するクレームの妥当性を改善するための様々なステップを示唆している。 我々は、この目的のための10のメカニズム、すなわち、組織、ソフトウェア、ハードウェアを分析し、それらのメカニズムの実装、探索、改善を目的とした推奨を行う。
  論文  参考訳（メタデータ） (2020-04-15T17:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。