論文の概要: SecureLLM: Using Compositionality to Build Provably Secure Language Models for Private, Sensitive, and Secret Data

• arxiv url: http://arxiv.org/abs/2405.09805v2
• Date: Thu, 13 Jun 2024 16:54:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 23:06:20.291417
• Title: SecureLLM: Using Compositionality to Build Provably Secure Language Models for Private, Sensitive, and Secret Data
• Title（参考訳）: SecureLLM: 構成性を使って、プライベート、センシティブ、シークレットデータのためのおそらくセキュアな言語モデルを構築する
• Authors: Abdulrahman Alabdulkareem, Christian M Arnold, Yerim Lee, Pieter M Feenstra, Boris Katz, Andrei Barbu,
• Abstract要約: 従来のセキュリティメカニズムは、アクセスすべきでないユーザからリソースを分離する。 我々は、このようなセキュリティ機構の構成特性をLLMの構造に反映し、確実にセキュアなLLMを構築する。 SecureLLMは、アクセスセキュリティと微調整メソッドをブレンドする。 我々は、難易度の高い新しい自然言語翻訳タスクと、今日安全な環境にモデルをデプロイできるLLMセキュリティに関する新しい視点の両方に貢献する。
• 参考スコア（独自算出の注目度）: 12.873248205613827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional security mechanisms isolate resources from users who should not access them. We reflect the compositional nature of such security mechanisms back into the structure of LLMs to build a provably secure LLM; that we term SecureLLM. Other approaches to LLM safety attempt to protect against bad actors or bad outcomes, but can only do so to an extent making them inappropriate for sensitive data. SecureLLM blends access security with fine-tuning methods. Each data silo has associated with it a separate fine-tuning and a user has access only to the collection of fine-tunings that they have permission for. The model must then perform on compositional tasks at the intersection of those data silos with the combination of those individual fine-tunings. While applicable to any task like document QA or making API calls, in this work we concern ourselves with models that learn the layouts of new SQL databases to provide natural-language-to-SQL translation capabilities. Existing fine-tuning composition methods fail in this challenging environment, as they are not well-equipped for handling compositional tasks. Compositionality remains a challenge for LLMs. We contribute both a difficult new compositional natural-language-to-SQL translation task and a new perspective on LLM security that allows models to be deployed to secure environments today.
• Abstract（参考訳）: 従来のセキュリティメカニズムは、アクセスすべきでないユーザからリソースを分離する。 我々は,このようなセキュリティ機構の構成特性を LLM の構造に反映して,確実にセキュアな LLM を構築する。 LLMの安全性に対する他のアプローチは、悪いアクターや悪い結果から保護しようとするが、機密データに適さない程度にしかできない。 SecureLLMは、アクセスセキュリティと微調整メソッドをブレンドする。 各データサイロは個別の微調整に関連付けられており、ユーザーは許可された微調整のコレクションのみにアクセスすることができる。 次に、モデルはそれらのデータサイロの交差点における構成上のタスクと、それらの個々の微調整の組み合わせで実行しなければなりません。 ドキュメントQAやAPI呼び出しといったタスクにも適用可能ですが、この作業では、自然言語からSQLへの翻訳機能を提供するために、新しいSQLデータベースのレイアウトを学習するモデルに関心があります。 既存の微調整コンポジションメソッドは、構成タスクを扱うのに十分な装備がないため、この困難な環境では失敗する。 構成性はLLMにとって依然として課題である。 我々は、難易度の高い新しい自然言語-SQL翻訳タスクと、今日安全な環境にモデルをデプロイできるLLMセキュリティに関する新しい視点の両方に貢献する。

関連論文リスト

• LEGO: Language Model Building Blocks [1.6124402884077915]
  大規模言語モデル(LLM)は自然言語処理(NLP)において必須であるが、データ収集、事前学習、微調整、推論に費用がかかる。 本稿では,LSMからSLMを抽出し,再結合する新しい手法であるLEGOを提案する。 最先端のLCMプルーニング戦略を使用することで、タスク固有のSLMビルディングブロックを作成できる。
  論文  参考訳（メタデータ） (2024-10-23T21:31:42Z)
• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation [98.02846901473697]
  我々は,MLLMの本来の安全意識を生かしたトレーニング不要な保護手法であるECSO(Eyes Closed, Safety On)を提案する。 ECSOは、安全でない画像をテキストに適応的に変換することで、より安全な応答を生成し、予め整列されたLCMの本質的な安全性メカニズムを活性化する。
  論文  参考訳（メタデータ） (2024-03-14T17:03:04Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• ShieldLM: Empowering LLMs as Aligned, Customizable and Explainable Safety Detectors [90.73444232283371]
  ShieldLMは、LLM(Large Language Models)の安全性検出装置で、一般的な安全基準に準拠している。 ShieldLMは4つのテストセットにまたがる強力なベースラインを超えており、優れたカスタマイズ性と説明可能性を示している。
  論文  参考訳（メタデータ） (2024-02-26T09:43:02Z)
• LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks [18.068035947969044]
  計画と推論タスクにおけるLLM(Large Language Models)の役割には、かなりの混乱がある。 自己回帰型LSMは、それ自体で計画や自己検証を行うことはできない、と我々は主張する。 本稿では,LLMの強みと外部モデルベース検証器を併用した bf LLM-Modulo Framework のビジョンを提案する。
  論文  参考訳（メタデータ） (2024-02-02T14:43:18Z)
• MLLM-Protector: Ensuring MLLM's Safety without Hurting Performance [36.03512474289962]
  本稿では,視覚入力による悪意ある攻撃に対してMLLMを防御する新たな課題について検討する。 画像は、安全アライメントの間に考慮されていない「外国語として機能する」ため、MLLMは有害な反応を生じやすい。 MLLM-Protectorは,1)軽量害検知器による有害応答の同定,2)除毒器による有害応答の無害化という2つのサブタスクを解決するためのプラグアンドプレイ戦略である。
  論文  参考訳（メタデータ） (2024-01-05T17:05:42Z)
• Mutual Enhancement of Large and Small Language Models with Cross-Silo Knowledge Transfer [27.63746419563747]
  大規模言語モデル (LLM) には幅広い知識が与えられているが、そのタスク固有の性能は、しばしば準最適である。 タスク固有のデータで微調整 LLM を必要とするが、プライバシー上の懸念からアクセスできない可能性がある。 本研究では,より小さな言語モデル (SLM) でLLMを強化し,クライアント上でプライベートなタスク固有データを用いて学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T09:52:32Z)
• Last One Standing: A Comparative Analysis of Security and Privacy of Soft Prompt Tuning, LoRA, and In-Context Learning [25.454403998164203]
  大きな言語モデル(LLM)は自然言語処理のための強力なツールであり、新しいアプリケーションやユーザエクスペリエンスを可能にする。 LLMは、プライバシとセキュリティ上の問題を引き起こすプライベートデータへの適応を必要とすることが多い。 LLMをプライベートデータに適用するためのいくつかの手法が提案されているが、それらの比較プライバシーとセキュリティ特性は体系的に研究されていない。
  論文  参考訳（メタデータ） (2023-10-17T17:03:00Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。