論文の概要: Building Trust: Foundations of Security, Safety and Transparency in AI
- arxiv url: http://arxiv.org/abs/2411.12275v1
- Date: Tue, 19 Nov 2024 06:55:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 17:07:49.023009
- Title: Building Trust: Foundations of Security, Safety and Transparency in AI
- Title(参考訳): 信頼の構築 - AIのセキュリティ、安全性、透明性の基礎
- Authors: Huzaifa Sidhpurwala, Garth Mollett, Emily Fox, Mark Bestavros, Huamin Chen,
- Abstract要約: 我々は、問題の追跡、修復、AIモデルのライフサイクルとオーナシッププロセスの明らかな欠如といった課題を強調しながら、現在のセキュリティと安全性のシナリオをレビューする。
本稿では,AIモデルの開発と運用において,より標準化されたセキュリティ,安全性,透明性を実現するための基礎的要素を提供する。
- 参考スコア(独自算出の注目度): 0.23301643766310373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper explores the rapidly evolving ecosystem of publicly available AI models, and their potential implications on the security and safety landscape. As AI models become increasingly prevalent, understanding their potential risks and vulnerabilities is crucial. We review the current security and safety scenarios while highlighting challenges such as tracking issues, remediation, and the apparent absence of AI model lifecycle and ownership processes. Comprehensive strategies to enhance security and safety for both model developers and end-users are proposed. This paper aims to provide some of the foundational pieces for more standardized security, safety, and transparency in the development and operation of AI models and the larger open ecosystems and communities forming around them.
- Abstract(参考訳): 本稿では,公開可能なAIモデルのエコシステムの急速な発展と,セキュリティと安全性の展望に影響を及ぼす可能性について考察する。
AIモデルがますます普及するにつれて、潜在的なリスクや脆弱性を理解することが重要である。
我々は、問題の追跡、修復、AIモデルのライフサイクルとオーナシッププロセスの明らかな欠如といった課題を強調しながら、現在のセキュリティと安全性のシナリオをレビューする。
モデル開発者とエンドユーザの両方のセキュリティと安全性を高めるための包括的な戦略が提案されている。
本稿では,AIモデルとその周辺に形成されるより大きなオープンなエコシステムとコミュニティの開発と運用において,より標準化されたセキュリティ,安全性,透明性を実現するための基礎的要素を提供することを目的とする。
関連論文リスト
- Comparative Analysis of AI-Driven Security Approaches in DevSecOps: Challenges, Solutions, and Future Directions [0.0]
本研究では,DevSecOpsにおけるAI駆動型セキュリティソリューションの分析と比較を行う。
この発見は、経験的検証、スケーラビリティ、セキュリティ自動化におけるAIの統合のギャップを明らかにしている。
この研究は、DevSecOpsでAIベースのセキュリティフレームワークを最適化するための今後の方向性を提案する。
論文 参考訳(メタデータ) (2025-04-27T08:18:11Z) - Security-First AI: Foundations for Robust and Trustworthy Systems [0.0]
この原稿は、AIセキュリティは基礎的なレイヤとして優先順位付けされなければならないことを示唆している。
私たちは、信頼できるレジリエントなAIシステムを実現するために、セキュリティ優先のアプローチを主張します。
論文 参考訳(メタデータ) (2025-04-17T22:53:01Z) - Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。
敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。
GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
論文 参考訳(メタデータ) (2025-03-30T13:26:00Z) - AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement [73.0700818105842]
我々は、AI安全のための代表的攻撃、防衛、評価方法論を統合する統合されたフレームワークとツールキットであるAISafetyLabを紹介する。
AISafetyLabには直感的なインターフェースがあり、開発者はシームレスにさまざまなテクニックを適用できる。
我々はヴィクナに関する実証的研究を行い、異なる攻撃戦略と防衛戦略を分析し、それらの比較効果に関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2025-02-24T02:11:52Z) - Safety at Scale: A Comprehensive Survey of Large Model Safety [298.05093528230753]
我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。
我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
論文 参考訳(メタデータ) (2025-02-02T05:14:22Z) - SoK: Unifying Cybersecurity and Cybersafety of Multimodal Foundation Models with an Information Theory Approach [58.93030774141753]
MFM(Multimodal foundation model)は、人工知能の大幅な進歩を表す。
本稿では,マルチモーダル学習におけるサイバーセーフティとサイバーセキュリティを概念化する。
我々は、これらの概念をMFMに統一し、重要な脅威を特定するための総合的知識体系化(SoK)を提案する。
論文 参考訳(メタデータ) (2024-11-17T23:06:20Z) - Standardization Trends on Safety and Trustworthiness Technology for Advanced AI [0.0]
大規模言語モデルと基礎モデルに基づく最近のAI技術は、人工知能に近づいたり、超えたりしている。
これらの進歩は、高度なAIの安全性と信頼性に関する懸念を引き起こしている。
AIの安全性と信頼性を確保するため、国際的に合意された標準を開発するための努力が実施されている。
論文 参考訳(メタデータ) (2024-10-29T15:50:24Z) - Towards Assuring EU AI Act Compliance and Adversarial Robustness of LLMs [1.368472250332885]
大規模な言語モデルは誤用しがちで、セキュリティの脅威に弱い。
欧州連合の人工知能法は、特定の文脈においてAIの堅牢性を強制しようとするものである。
論文 参考訳(メタデータ) (2024-10-04T18:38:49Z) - Trustworthy, Responsible, and Safe AI: A Comprehensive Architectural Framework for AI Safety with Challenges and Mitigations [14.150792596344674]
AI安全性は、AIシステムの安全な採用とデプロイにおいて重要な領域である。
私たちの目標は、AI安全研究の進歩を促進し、究極的には、デジタルトランスフォーメーションに対する人々の信頼を高めることです。
論文 参考訳(メタデータ) (2024-08-23T09:33:48Z) - EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
論文 参考訳(メタデータ) (2024-08-08T13:19:37Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳(メタデータ) (2024-07-31T17:59:24Z) - AI Risk Management Should Incorporate Both Safety and Security [185.68738503122114]
AIリスクマネジメントの利害関係者は、安全とセキュリティの間のニュアンス、シナジー、相互作用を意識すべきである、と私たちは主張する。
我々は、AIの安全性とAIのセキュリティの違いと相互作用を明らかにするために、統一された参照フレームワークを導入する。
論文 参考訳(メタデータ) (2024-05-29T21:00:47Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳(メタデータ) (2024-05-10T17:38:32Z) - Security Risks Concerns of Generative AI in the IoT [9.35121449708677]
モノのインターネット(IoT)が、生成的人工知能(AI)とますます交差する時代において、この記事では、この統合に固有の突発的なセキュリティリスクを精査する。
我々は、生成AIがIoTのイノベーションを促進する方法について検討し、生成AIを使用する際のデータ漏洩の可能性と、生成AI技術のIoTエコシステムにおける誤用を分析します。
論文 参考訳(メタデータ) (2024-03-29T20:28:30Z) - Towards Safer Generative Language Models: A Survey on Safety Risks,
Evaluations, and Improvements [76.80453043969209]
本調査では,大規模モデルに関する安全研究の枠組みについて述べる。
まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。
トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
論文 参考訳(メタデータ) (2023-02-18T09:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。