論文の概要: Fortify Your Foundations: Practical Privacy and Security for Foundation Model Deployments In The Cloud

• arxiv url: http://arxiv.org/abs/2410.05930v1
• Date: Tue, 8 Oct 2024 11:33:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 12:10:29.757949
• Title: Fortify Your Foundations: Practical Privacy and Security for Foundation Model Deployments In The Cloud
• Title（参考訳）: Fortify your Foundations: クラウドにおけるファンデーションモデルデプロイのための実践的プライバシとセキュリティ
• Authors: Marcin Chrapek, Anjo Vahldiek-Oberwagner, Marcin Spoczynski, Scott Constable, Mona Vij, Torsten Hoefler,
• Abstract要約: ファンデーションモデル(FM)は自然言語処理などのタスクにおいて例外的なパフォーマンスを示す。 FMは、しばしば、プライベートデータに依存するRetrieval-Augmented Generation (RAG)システムに微調整または統合される。 本研究では,FM脅威モデルについて検討し,その安全性を確保するための様々なアプローチの実用性と包括性について考察する。
• 参考スコア（独自算出の注目度）: 17.961272750854885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation Models (FMs) display exceptional performance in tasks such as natural language processing and are being applied across a growing range of disciplines. Although typically trained on large public datasets, FMs are often fine-tuned or integrated into Retrieval-Augmented Generation (RAG) systems, which rely on private data. This access, along with their size and costly training, heightens the risk of intellectual property theft. Moreover, multimodal FMs may expose sensitive information. In this work, we examine the FM threat model and discuss the practicality and comprehensiveness of various approaches for securing against them, such as ML-based methods and trusted execution environments (TEEs). We demonstrate that TEEs offer an effective balance between strong security properties, usability, and performance. Specifically, we present a solution achieving less than 10\% overhead versus bare metal for the full Llama2 7B and 13B inference pipelines running inside \intel\ SGX and \intel\ TDX. We also share our configuration files and insights from our implementation. To our knowledge, our work is the first to show the practicality of TEEs for securing FMs.
• Abstract（参考訳）: ファンデーションモデル(FM)は自然言語処理などのタスクにおいて例外的なパフォーマンスを示しており、様々な分野に応用されている。 通常、大規模な公開データセットでトレーニングされるが、FMは、プライベートデータに依存するRetrieval-Augmented Generation (RAG)システムに微調整または統合されることが多い。 このアクセスは、そのサイズとコストのかかるトレーニングとともに、知的財産盗難のリスクを高める。 さらに、マルチモーダルFMは機密情報を露出する可能性がある。 本研究では、FM脅威モデルについて検討し、MLベースの手法や信頼できる実行環境(TEE)など、その対策のための様々なアプローチの実用性と包括性について考察する。 我々は、TEEが強力なセキュリティ特性、ユーザビリティ、パフォーマンスの効果的なバランスを提供することを示した。 具体的には, Llama2 7B と 13B の完全な推論パイプラインが \intel\ SGX と \intel\ TDX 内で動作する場合, オーバーヘッドを 10 % 以下に抑える方法を提案する。 構成ファイルや実装からの洞察も共有しています。 我々の知る限り、我々の研究はFMの確保のためのTEEの実用性を示す最初のものである。

関連論文リスト

• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks in Realistic Environments [90.29937153770835]
  CRMArenaは、プロフェッショナルな作業環境に根ざした現実的なタスクにおいて、AIエージェントを評価するために設計されたベンチマークである。 現状のLDMエージェントはReActプロンプトのタスクの40%以下で成功し,機能呼び出し能力でも55%以下であった。 この結果から,実環境に展開する関数呼び出しやルールフォローにおいて,エージェント機能の向上の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-11-04T17:30:51Z)
• Uncertainty and Generalizability in Foundation Models for Earth Observation [1.3654846342364308]
  我々は,特定の関心領域(AOI)において,限られたラベル付け予算で下流タスク(植生被覆の推定など)を設計したいという視点を採っている。 既存のファンデーションモデル(FM)を利用することで、異なるがラベルに富んだAOIで下流モデルをトレーニングするかどうかを判断する必要があります。 本研究では,Sentinel 1 または Sentinel 2 の8つの既存のFMを入力データとして,ESA World Cover 製品からのクラスを下流タスクとして,大規模なアブレーション研究を行う。
  論文  参考訳（メタデータ） (2024-09-13T11:52:16Z)
• Foundation Model Sherpas: Guiding Foundation Models through Knowledge and Reasoning [23.763256908202496]
  ファンデーションモデル(FM)は、さまざまなタスクにおいて顕著なパフォーマンスを示すことによって、AIの分野に革命をもたらした。 FMは、多くの現実世界システムで広く採用されるのを防ぐために、多くの制限を課している。 エージェントがFMと対話できる様々なモードをカプセル化する概念的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-02T18:00:35Z)
• Forging Vision Foundation Models for Autonomous Driving: Challenges, Methodologies, and Opportunities [59.02391344178202]
  ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。 総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。 本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-01-16T01:57:24Z)
• FedMS: Federated Learning with Mixture of Sparsely Activated Foundations Models [11.362085734837217]
  我々はFedMSと呼ばれる新しい2段階のフェデレーション学習アルゴリズムを提案する。 グローバルエキスパートは第一段階で訓練され、ローカルエキスパートは第二段階で訓練され、より良いパーソナライズを提供する。 我々はFedMSの有効性を検証するために広範囲な実験を行い、その結果、FedMSは他のSOTAベースラインを55.25%まで上回る結果となった。
  論文  参考訳（メタデータ） (2023-12-26T07:40:26Z)
• EdgeFM: Leveraging Foundation Model for Open-set Learning on the Edge [15.559604113977294]
  We propose EdgeFM, a novel edge-cloud collaborative system with open-set recognition capabilities。 EdgeFMは、エンドツーエンドのレイテンシを3.2倍に削減し、ベースラインと比較して34.3%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-11-18T06:40:39Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• On the Evaluation of User Privacy in Deep Neural Networks using Timing Side Channel [14.350301915592027]
  我々は,Deep Learning (DL) の実装において,新たなデータ依存型タイミング側チャネルリーク(クラスリーク)を特定し,報告する。 ユーザ特権とハードラベルのブラックボックスアクセスを持つ敵が、クラスリークを悪用できる、実用的な推論時攻撃を実証する。 我々は,クラスリークを緩和する定時分岐操作を行うことにより,実装が容易な対策を開発する。
  論文  参考訳（メタデータ） (2022-08-01T19:38:16Z)
• Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
  我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。 Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。 最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
  論文  参考訳（メタデータ） (2022-07-15T11:39:37Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。