Fugu-MT 論文翻訳(概要): Memorization of Named Entities in Fine-tuned BERT Models

論文の概要: Memorization of Named Entities in Fine-tuned BERT Models

arxiv url: http://arxiv.org/abs/2212.03749v3
Date: Thu, 28 Nov 2024 15:06:32 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-02 15:16:54.037244
Title: Memorization of Named Entities in Fine-tuned BERT Models
Title（参考訳）: 細調整BERTモデルにおける名前付きエンティティの記憶
Authors: Andor Diera, Nicolas Lell, Aygul Garifullina, Ansgar Scherp,
Abstract要約: 細調整BERTモデルにおける名前付きエンティティ記憶の程度について検討する。細調整されたBERTは、事前訓練されたBERTモデルよりも、細調整されたデータセットに特有の名前付きエンティティを生成できないことを示す。
参考スコア（独自算出の注目度）: 2.7623977033962936
License:
Abstract: Privacy preserving deep learning is an emerging field in machine learning that aims to mitigate the privacy risks in the use of deep neural networks. One such risk is training data extraction from language models that have been trained on datasets, which contain personal and privacy sensitive information. In our study, we investigate the extent of named entity memorization in fine-tuned BERT models. We use single-label text classification as representative downstream task and employ three different fine-tuning setups in our experiments, including one with Differential Privacy (DP). We create a large number of text samples from the fine-tuned BERT models utilizing a custom sequential sampling strategy with two prompting strategies. We search in these samples for named entities and check if they are also present in the fine-tuning datasets. We experiment with two benchmark datasets in the domains of emails and blogs. We show that the application of DP has a detrimental effect on the text generation capabilities of BERT. Furthermore, we show that a fine-tuned BERT does not generate more named entities specific to the fine-tuning dataset than a BERT model that is pre-trained only. This suggests that BERT is unlikely to emit personal or privacy sensitive named entities. Overall, our results are important to understand to what extent BERT-based services are prone to training data extraction attacks.
Abstract（参考訳）: ディープラーニングを保存するプライバシは、ディープラーニングの新たな分野であり、ディープニューラルネットワークの使用におけるプライバシリスクを軽減することを目的としている。そのようなリスクの1つは、個人的およびプライバシーに敏感な情報を含むデータセットでトレーニングされた言語モデルからデータ抽出をトレーニングすることである。本研究では,細調整BERTモデルにおける名前付き実体記憶の程度について検討した。我々は、下流タスクの代表としてシングルラベルテキスト分類を使用し、微分プライバシー(DP)を含む3種類の微調整設定を実験で採用している。我々は2つのプロンプト戦略を持つカスタムシーケンシャルサンプリング戦略を用いて、細調整されたBERTモデルから大量のテキストサンプルを作成する。名前付きエンティティのサンプルを検索し、微調整データセットにも存在するかどうかを確認する。メールとブログのドメインでベンチマークデータセットを2つ実験した。本稿では,DP の適用が BERT のテキスト生成能力に有害な影響を与えることを示す。さらに、細調整されたBERTは、事前訓練されたBERTモデルよりも、細調整されたデータセットに固有の名前付きエンティティを生成できないことを示す。これは、BERTが個人またはプライバシーに敏感な名前のエンティティを発行する可能性は低いことを示唆している。総じて、BERTベースのサービスがデータ抽出攻撃の訓練を行う傾向にあるかを理解することが重要である。

関連論文リスト

Seed-Guided Fine-Grained Entity Typing in Science and Engineering Domains [51.02035914828596]
科学・工学分野において,シード誘導型細粒度エンティティタイピングの課題について検討する。まず、ラベルのないコーパスから各タイプのエンティティを抽出し、弱い監視力を高めるSETypeを提案する。そして、リッチなエンティティをラベルなしのテキストにマッチさせ、擬似ラベル付きサンプルを取得し、見知らぬ型と見えない型の両方に推論できるテキストエンテリメントモデルを訓練する。
論文参考訳（メタデータ） (2024-01-23T22:36:03Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models [3.303435360096988]
タスク固有のBERTベースの教師モデルから様々な学生モデルへの知識蒸留ベンチマークを行う。インドネシア語でテキスト分類とシークエンスラベリングという2つのタスクでグループ化された12のデータセットについて実験を行った。実験の結果, トランスフォーマーモデルの普及にもかかわらず, BiLSTM と CNN の学生モデルを用いることで, 性能と計算資源の最良のトレードオフが得られることがわかった。
論文参考訳（メタデータ） (2022-01-03T10:07:13Z)
Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文参考訳（メタデータ） (2021-09-12T15:51:41Z)
De-identification of Privacy-related Entities in Job Postings [10.751883216434717]
身元特定は、人物名、電子メール、連絡先データなどのプライバシー関連エンティティをテキストで検出するタスクである。 JobStackは、Stackoverflow上のジョブの空白における個人データの非特定のための新しいコーパスである。
論文参考訳（メタデータ） (2021-05-24T12:01:22Z)
Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews [0.0]
2つのデータセットの実験結果は、BERTを使用したモデルがGloVeとFastTextを使用して、他のモデルよりわずかに優れていることを示している。提案するBERTファインチューニング法は,従来のBERTファインチューニング法よりも優れた性能を持つアモデルを生成する。
論文参考訳（メタデータ） (2020-11-20T14:45:46Z)
Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文参考訳（メタデータ） (2020-05-18T09:36:51Z)
Sensitive Data Detection and Classification in Spanish Clinical Text: Experiments with BERT [0.8379286663107844]
本稿では、BERTに基づくシーケンスラベリングモデルを用いて、スペイン語で匿名化実験を行う。実験により、汎用ドメイン事前学習を用いた単純なBERTモデルが、ドメイン固有の機能工学を使わずに、非常に競争力のある結果が得られることが示された。
論文参考訳（メタデータ） (2020-03-06T09:46:51Z)
What BERT Sees: Cross-Modal Transfer for Visual Question Generation [21.640299110619384]
補足データを用いた事前学習を回避して,BERTのアウト・オブ・ザ・ボックスの視覚能力について検討した。テキスト生成のためのBERTベースのアーキテクチャであるBERT-genを導入する。
論文参考訳（メタデータ） (2020-02-25T12:44:36Z)
Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
論文参考訳（メタデータ） (2020-02-24T16:17:12Z)
Incorporating BERT into Neural Machine Translation [251.54280200353674]
本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
論文参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。