論文の概要: Killing Two Birds with One Stone: Stealing Model and Inferring Attribute from BERT-based APIs

• arxiv url: http://arxiv.org/abs/2105.10909v1
• Date: Sun, 23 May 2021 10:38:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:26:37.136548
• Title: Killing Two Birds with One Stone: Stealing Model and Inferring Attribute from BERT-based APIs
• Title（参考訳）: 1つの石で2羽の鳥を殺す:BERTベースのAPIからステアリングモデルと属性の推測
• Authors: Lingjuan Lyu, Xuanli He, Fangzhao Wu, Lichao Sun
• Abstract要約: 本稿では,BERTベースのAPIを事実上盗むことができる効果的なモデル抽出攻撃を提案する。 BERTベースのAPIで使用されるトレーニングデータのセンシティブな属性を明らかにするための効果的な推論攻撃を開発する。
• 参考スコア（独自算出の注目度）: 26.38350928431939
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advances in pre-trained models (e.g., BERT, XLNET and etc) have largely revolutionized the predictive performance of various modern natural language processing tasks. This allows corporations to provide machine learning as a service (MLaaS) by encapsulating fine-tuned BERT-based models as commercial APIs. However, previous works have discovered a series of vulnerabilities in BERT- based APIs. For example, BERT-based APIs are vulnerable to both model extraction attack and adversarial example transferrability attack. However, due to the high capacity of BERT-based APIs, the fine-tuned model is easy to be overlearned, what kind of information can be leaked from the extracted model remains unknown and is lacking. To bridge this gap, in this work, we first present an effective model extraction attack, where the adversary can practically steal a BERT-based API (the target/victim model) by only querying a limited number of queries. We further develop an effective attribute inference attack to expose the sensitive attribute of the training data used by the BERT-based APIs. Our extensive experiments on benchmark datasets under various realistic settings demonstrate the potential vulnerabilities of BERT-based APIs.
• Abstract（参考訳）: 事前訓練されたモデル(BERT、XLNETなど)の進歩は、様々な現代の自然言語処理タスクの予測性能に大きな革命をもたらした。 これにより、細調整されたBERTベースのモデルを商用APIとしてカプセル化することで、マシンラーニング・アズ・ア・サービス(MLaaS)を提供することが可能になる。 しかし、以前の研究でBERTベースのAPIに一連の脆弱性が見つかった。 例えば、BERTベースのAPIは、モデル抽出攻撃と逆転可能性攻撃の両方に対して脆弱である。 しかし、BERTベースのAPIの容量が高いため、微調整されたモデルは簡単に習得でき、抽出されたモデルからどのような情報が漏れるかは分かっておらず、不明である。 このギャップを埋めるために,本研究では,限られた数のクエリのみをクエリすることで,敵がBERTベースのAPI(ターゲット/ビットモデル)を実質的に盗むことができる効果的なモデル抽出攻撃を提案する。 さらに,BERTベースのAPIで使用されるトレーニングデータのセンシティブな属性を明らかにするために,効果的な属性推論攻撃を開発する。 さまざまな現実的な設定下でのベンチマークデータセットに関する広範な実験は、BERTベースのAPIの潜在的な脆弱性を示しています。

関連論文リスト

• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• Memorization of Named Entities in Fine-tuned BERT Models [3.0177210416625115]
  細調整BERTモデルにおける名前付きエンティティ記憶の程度について検討する。 細調整されたBERTは、事前訓練されたBERTモデルよりも、細調整されたデータセットに特有の名前付きエンティティを生成できないことを示す。
  論文  参考訳（メタデータ） (2022-12-07T16:20:50Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• Breaking BERT: Understanding its Vulnerabilities for Named Entity Recognition through Adversarial Attack [10.871587311621974]
  汎用とドメイン固有のBERTモデルは、自然言語処理(NLP)タスクに広く使われている。 本稿では,識別エンティティ認識(NER)の入力データの変化に対するBERTモデルの脆弱性を,敵攻撃による脆弱性として検討する。
  論文  参考訳（メタデータ） (2021-09-23T11:47:27Z)
• Effectiveness of Pre-training for Few-shot Intent Classification [33.557100231606505]
  本報告では,数発の意図分類における事前学習の有効性について検討する。 公開データセットからラベル付き発話の小さなセットで、BERTをきめ細やかに調整することは、非常に効果的で効率的である。 IntentBERTは、新規ドメイン上の数ショットの意図分類のために、既存の事前訓練モデルの性能を容易に上回ることができる。
  論文  参考訳（メタデータ） (2021-09-13T09:00:09Z)
• Model Extraction and Adversarial Transferability, Your BERT is Vulnerable! [11.425692676973332]
  敵がBERTベースのAPIサービスを、事前知識とクエリに制限のある複数のベンチマークデータセットで盗む方法を示す。 また, 抽出したモデルが, 被害者モデルに対する高度に転送可能な敵攻撃につながることを示す。 私たちの研究は、被害者モデルと攻撃モデルの間にアーキテクチャ上のミスマッチがある場合でも、BERTベースのAPIサービスの潜在的な脆弱性がまだ保持されていることを示しています。
  論文  参考訳（メタデータ） (2021-03-18T04:23:21Z)
• ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
  BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。 そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。 新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
  論文  参考訳（メタデータ） (2020-08-06T07:43:19Z)
• DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
  BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。 本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。 実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T17:58:05Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。