論文の概要: SoK: On the Impossible Security of Very Large Foundation Models
- arxiv url: http://arxiv.org/abs/2209.15259v1
- Date: Fri, 30 Sep 2022 06:36:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 15:08:19.226305
- Title: SoK: On the Impossible Security of Very Large Foundation Models
- Title（参考訳）: SoK:超大型ファンデーションモデルの不可避なセキュリティについて
- Authors: El-Mahdi El-Mhamdi, Sadegh Farhadkhani, Rachid Guerraoui, Nirupam
Gupta, L\^e-Nguy\^en Hoang, Rafael Pinot, John Stephan
- Abstract要約: 大規模な機械学習モデル、いわゆるファンデーションモデルは、アプリケーション指向機械学習のベースモデルとして機能することを目指している。
これらのモデルは、重大なセキュリティとプライバシの問題を引き起こすことが実証的に見出されている。
本稿では,後者を支援する知識を体系化することを目的とする。
- 参考スコア（独自算出の注目度）: 9.782541956129302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large machine learning models, or so-called foundation models, aim to serve
as base-models for application-oriented machine learning. Although these models
showcase impressive performance, they have been empirically found to pose
serious security and privacy issues. We may however wonder if this is a
limitation of the current models, or if these issues stem from a fundamental
intrinsic impossibility of the foundation model learning problem itself. This
paper aims to systematize our knowledge supporting the latter. More precisely,
we identify several key features of today's foundation model learning problem
which, given the current understanding in adversarial machine learning, suggest
incompatibility of high accuracy with both security and privacy. We begin by
observing that high accuracy seems to require (1) very high-dimensional models
and (2) huge amounts of data that can only be procured through user-generated
datasets. Moreover, such data is fundamentally heterogeneous, as users
generally have very specific (easily identifiable) data-generating habits. More
importantly, users' data is filled with highly sensitive information, and maybe
heavily polluted by fake users. We then survey lower bounds on accuracy in
privacy-preserving and Byzantine-resilient heterogeneous learning that, we
argue, constitute a compelling case against the possibility of designing a
secure and privacy-preserving high-accuracy foundation model. We further stress
that our analysis also applies to other high-stake machine learning
applications, including content recommendation. We conclude by calling for
measures to prioritize security and privacy, and to slow down the race for ever
larger models.
- Abstract（参考訳）: 大規模機械学習モデル(いわゆる基盤モデル)は、アプリケーション指向機械学習のベースモデルとして機能することを目指している。
これらのモデルには素晴らしいパフォーマンスがあるが、重大なセキュリティとプライバシーの問題が経験的に報告されている。
しかし、これが現在のモデルの制限なのか、あるいはこれらの問題は基礎モデル学習問題自体の根本的な本質的不合理性に起因するのか疑問である。
本稿では,後者を支える知識を体系化する。
より正確には、敵機械学習の現在の理解から、セキュリティとプライバシの両方で高い精度の互換性を示唆する、今日の基盤モデル学習問題のいくつかの重要な特徴を特定します。
まず,(1)非常に高次元のモデルが必要であり,(2)ユーザが生成したデータセットからのみ取得可能な膨大なデータが必要であることを観察する。
さらに、そのようなデータは基本的に異種であり、ユーザーは一般的に非常に特定の(容易に識別できる)データ生成習慣を持っている。
さらに重要なのは、ユーザーのデータは高度にセンシティブな情報で満たされており、おそらくフェイクユーザーによって大量に汚染されていることだ。
次に,プライバシ保護およびビザンチンレジリエントな異質学習における精度の限界について,安全性とプライバシ保護の高正確性の基礎モデルを設計する可能性に対する説得力のある事例として検討した。
さらに、コンテンツレコメンデーションを含む他の高度な機械学習アプリケーションにも、分析が適用されることを強調する。
我々は、セキュリティとプライバシを優先し、より大規模なモデルの競争を遅らせるための措置を要求することで締めくくります。
関連論文リスト
- Evaluating Predictive Models in Cybersecurity: A Comparative Analysis of Machine and Deep Learning Techniques for Threat Detection [0.0]
本稿では、さまざまな機械学習モデルとディープラーニングモデルを比較して、サイバーセキュリティリスクの検出と対策に最適なモデルを選択する。
この2つのデータセットは、Naive Bayes、SVM、Random Forest、ディープラーニングアーキテクチャ(VGG16)などのモデルを評価するために、精度、精度、リコール、F1スコアのコンテキストで使用される。
論文 参考訳（メタデータ） (2024-07-08T15:05:59Z) - On the Challenges and Opportunities in Generative AI [135.2754367149689]
現在の大規模生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの基本的な問題に十分対応していない、と我々は主張する。
本研究は、現代の生成型AIパラダイムにおける重要な未解決課題を特定し、その能力、汎用性、信頼性をさらに向上するために取り組まなければならない。
論文 参考訳（メタデータ） (2024-02-28T15:19:33Z) - Building Safe and Reliable AI systems for Safety Critical Tasks with
Vision-Language Processing [1.2183405753834557]
現在のAIアルゴリズムでは、障害検出の一般的な原因を特定できない。
予測の質を定量化するためには、追加のテクニックが必要である。
この論文は、分類、画像キャプション、視覚質問応答といったタスクのための視覚言語データ処理に焦点を当てる。
論文 参考訳（メタデータ） (2023-08-06T18:05:59Z) - Robots That Ask For Help: Uncertainty Alignment for Large Language Model
Planners [85.03486419424647]
KnowNoは、大きな言語モデルの不確実性を測定し、調整するためのフレームワークである。
KnowNoは、タスク完了に関する統計的保証を提供する共形予測理論に基づいている。
論文 参考訳（メタデータ） (2023-07-04T21:25:12Z) - Timeseries-aware Uncertainty Wrappers for Uncertainty Quantification of
Information-Fusion-Enhanced AI Models based on Machine Learning [0.0]
時系列データに対する信頼性の高い不確実性推定のための時系列認識型不確実性ラッパーを提案する。
本研究では,情報融合によるモデル精度の向上と,不確実性推定の品質向上が可能であることを示す。
論文 参考訳（メタデータ） (2023-05-24T08:24:54Z) - Distributional Instance Segmentation: Modeling Uncertainty and High
Confidence Predictions with Latent-MaskRCNN [77.0623472106488]
本稿では,潜在符号を用いた分散インスタンス分割モデルのクラスについて検討する。
ロボットピッキングへの応用として,高い精度を実現するための信頼性マスク手法を提案する。
本手法は,新たにリリースした曖昧なシーンのデータセットを含め,ロボットシステムにおける致命的なエラーを著しく低減できることを示す。
論文 参考訳（メタデータ） (2023-05-03T05:57:29Z) - Maximum Likelihood Distillation for Robust Modulation Classification [50.51144496609274]
我々は、より堅牢なAMCシステムを構築するために、知識蒸留のアイデアと敵の訓練に基づいて構築する。
オフライン環境でのAMC問題を解消し,より優れたトレーニングラベルを生成するためのMaximum Likelihood関数を提案する。
論文 参考訳（メタデータ） (2022-11-01T21:06:11Z) - Learnware: Small Models Do Big [69.88234743773113]
自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。
この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
論文 参考訳（メタデータ） (2022-10-07T15:55:52Z) - Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。
Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。
最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文 参考訳（メタデータ） (2022-07-15T11:39:37Z) - Knowledge Augmented Machine Learning with Applications in Autonomous
Driving: A Survey [37.84106999449108]
この研究は、データ駆動モデルと既存の知識を組み合わせた既存の技術と手法の概要を提供する。
同定されたアプローチは、知識の統合、抽出、整合性に応じて構成される。
特に、自律運転分野における提案手法の適用について述べる。
論文 参考訳（メタデータ） (2022-05-10T07:25:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。