論文の概要: Balancing Transparency and Risk: The Security and Privacy Risks of
Open-Source Machine Learning Models
- arxiv url: http://arxiv.org/abs/2308.09490v1
- Date: Fri, 18 Aug 2023 11:59:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 13:15:34.540195
- Title: Balancing Transparency and Risk: The Security and Privacy Risks of
Open-Source Machine Learning Models
- Title（参考訳）: 透明性とリスクのバランスをとる - オープンソース機械学習モデルのセキュリティとプライバシリスク
- Authors: Dominik Hintersdorf, Lukas Struppek, Kristian Kersting
- Abstract要約: 本稿では,オープンソースモデルの使用に伴う共通プライバシーとセキュリティの脅威について概観する。
これらの危険に対する認識を高めることで、私たちはAIシステムの責任と安全な利用を促進することに努めます。
- 参考スコア（独自算出の注目度）: 31.658006126446175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of artificial intelligence (AI) has experienced remarkable progress
in recent years, driven by the widespread adoption of open-source machine
learning models in both research and industry. Considering the
resource-intensive nature of training on vast datasets, many applications opt
for models that have already been trained. Hence, a small number of key players
undertake the responsibility of training and publicly releasing large
pre-trained models, providing a crucial foundation for a wide range of
applications. However, the adoption of these open-source models carries
inherent privacy and security risks that are often overlooked. To provide a
concrete example, an inconspicuous model may conceal hidden functionalities
that, when triggered by specific input patterns, can manipulate the behavior of
the system, such as instructing self-driving cars to ignore the presence of
other vehicles. The implications of successful privacy and security attacks
encompass a broad spectrum, ranging from relatively minor damage like service
interruptions to highly alarming scenarios, including physical harm or the
exposure of sensitive user data. In this work, we present a comprehensive
overview of common privacy and security threats associated with the use of
open-source models. By raising awareness of these dangers, we strive to promote
the responsible and secure use of AI systems.
- Abstract（参考訳）: 近年、人工知能(AI)分野は、研究と産業の両方でオープンソースの機械学習モデルが広く採用されていることから、目覚ましい進歩を遂げている。
膨大なデータセット上のトレーニングのリソース集約性を考えると、多くのアプリケーションは、すでにトレーニング済みのモデルを選択する。
そのため、少数のキープレーヤーがトレーニングの責任を負い、大規模な事前訓練されたモデルを公開し、幅広いアプリケーションにとって重要な基盤を提供する。
しかし、これらのオープンソースモデルの採用は、しばしば見過ごされる固有のプライバシーとセキュリティのリスクをもたらす。
特定の入力パターンによってトリガーされると、他の車両の存在を無視するように自動運転車に指示する等のシステムの動作を操作できる隠された機能を隠すことができる具体的な例を提供する。
プライバシとセキュリティ攻撃の成功の意義は、サービス中断のような比較的小さなダメージから、物理的被害や機密性の高いユーザデータの露出など、非常に警告的なシナリオまで、幅広い範囲にわたっている。
本稿では,オープンソースモデルの利用に伴う共通プライバシとセキュリティの脅威について,総括的に概観する。
これらの危険に対する認識を高めることで、私たちはAIシステムの責任と安全な利用を促進することに努めます。
関連論文リスト
- New Emerged Security and Privacy of Pre-trained Model: a Survey and Outlook [54.24701201956833]
セキュリティとプライバシーの問題は、事前訓練されたモデルに対するユーザーの信頼を損なう。
現在の文献は、事前訓練されたモデルに対する攻撃と防御の明確な分類を欠いている。
この分類法は、攻撃と防御をNo-Change、Input-Change、Model-Changeアプローチに分類する。
論文 参考訳（メタデータ） (2024-11-12T10:15:33Z) - Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions [12.451936012379319]
大規模言語モデル(LLM)は、人工知能の大幅な進歩を表し、様々な領域にまたがる応用を見つける。
トレーニングのための大規模なインターネットソースデータセットへの依存は、注目すべきプライバシー問題を引き起こす。
特定のアプリケーション固有のシナリオでは、これらのモデルをプライベートデータで微調整する必要があります。
論文 参考訳（メタデータ） (2024-08-10T05:41:19Z) - Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳（メタデータ） (2024-04-01T16:50:54Z) - Threats, Attacks, and Defenses in Machine Unlearning: A Survey [14.03428437751312]
マシン・アンラーニング(MU)は、Safe AIを達成する可能性から、最近かなりの注目を集めている。
この調査は、機械学習における脅威、攻撃、防衛に関する広範な研究のギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-03-20T15:40:18Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳（メタデータ） (2022-11-27T21:43:45Z) - Learnware: Small Models Do Big [69.88234743773113]
自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。
この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
論文 参考訳（メタデータ） (2022-10-07T15:55:52Z) - Knowledge Augmented Machine Learning with Applications in Autonomous
Driving: A Survey [37.84106999449108]
この研究は、データ駆動モデルと既存の知識を組み合わせた既存の技術と手法の概要を提供する。
同定されたアプローチは、知識の統合、抽出、整合性に応じて構成される。
特に、自律運転分野における提案手法の適用について述べる。
論文 参考訳（メタデータ） (2022-05-10T07:25:32Z) - Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks,
and Defenses [150.64470864162556]
この作業は体系的に分類され、幅広いデータセット脆弱性とエクスプロイトを議論する。
様々な毒とバックドアの脅威モデルとそれらの関係を記述することに加えて,それらの統一分類法を展開する。
論文 参考訳（メタデータ） (2020-12-18T22:38:47Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z) - Green Lighting ML: Confidentiality, Integrity, and Availability of
Machine Learning Systems in Deployment [4.2317391919680425]
プロダクション機械学習では、一般的にモデルを構築している人からモデルをデプロイしている人への手引きがある。
この手引きで、モデルデプロイメントを担当するエンジニアは、モデルの詳細を秘密にしないことが多い。
この問題を緩和するためには、モデルのプライバシとセキュリティを検証する自動化システムを開発する必要がある。
論文 参考訳（メタデータ） (2020-07-09T10:38:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。