論文の概要: Mitigating Unintended Memorization in Language Models via Alternating Teaching

• arxiv url: http://arxiv.org/abs/2210.06772v1
• Date: Thu, 13 Oct 2022 06:26:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 14:22:42.495664
• Title: Mitigating Unintended Memorization in Language Models via Alternating Teaching
• Title（参考訳）: 交互指導による言語モデルの意図しない記憶の軽減
• Authors: Zhe Liu, Xuedong Zhang, Fuchun Peng
• Abstract要約: 逐次モデリングにおける意図しない記憶を緩和するための新しい手法を提案する。 本手法では,プライバシが保護を希望する解離学習セットを複数の教員に指導する。 LibriSpeechデータセットの実験により,提案手法は優れたプライバシー保護結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 15.112637366882185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has shown that language models have a tendency to memorize rare or unique sequences in the training corpora which can thus leak sensitive attributes of user data. We employ a teacher-student framework and propose a novel approach called alternating teaching to mitigate unintended memorization in sequential modeling. In our method, multiple teachers are trained on disjoint training sets whose privacy one wishes to protect, and teachers' predictions supervise the training of a student model in an alternating manner at each time step. Experiments on LibriSpeech datasets show that the proposed method achieves superior privacy-preserving results than other counterparts. In comparison with no prevention for unintended memorization, the overall utility loss is small when training records are sufficient.
• Abstract（参考訳）: 近年の研究では、言語モデルがトレーニングコーパスに希少または独特なシーケンスを記憶する傾向があり、それによってユーザデータの機密性の高い属性を漏洩することが示されている。 教師・学生の枠組みを用い,逐次モデリングにおける意図しない記憶を緩和するための交互指導と呼ばれる新しい手法を提案する。 本手法では,プライバシを守りたい非協力的なトレーニングセットに複数の教師を訓練し,各時間ステップで生徒モデルのトレーニングを交互に監督する教師の予測を行う。 LibriSpeechデータセットの実験により,提案手法は他の手法よりも優れたプライバシー保護結果が得られることが示された。 意図しない記憶の予防は行わないが、トレーニング記録が十分であれば、全体の実用性損失は小さくなる。

関連論文リスト

• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Forgetting Private Textual Sequences in Language Models via Leave-One-Out Ensemble [13.893379594151533]
  そこで本研究では,モデルから忘れられる必要のあるテキストシーケンスを学習するための,新たなアンサンブル手法を提案する。 LibriSpeechとWikiText-103データセットの実験では、提案手法は他のデータセットよりも優れたプライバシーとユーティリティのトレードオフを実現することが示されている。
  論文  参考訳（メタデータ） (2023-09-28T00:43:18Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition [51.20130423303659]
  本稿では,Poissonサブサンプルを用いたアンサンブル学習フレームワークを提案する。 DP下での強化を通じて、トレーニングデータから派生した学生モデルは、プライバシ保護なしでトレーニングされたモデルからほとんどモデル劣化を受けない。 提案手法は,<i>Poisson sub-sampling</i>によるプライバシ予算の増幅を行い,同じレベルのプライバシ予算を達成するためにノイズの少ないターゲット予測モデルをトレーニングする。
  論文  参考訳（メタデータ） (2022-10-12T16:34:08Z)
• Deduplicating Training Data Mitigates Privacy Risks in Language Models [35.643052320353114]
  プライバシ攻撃の成功の大部分は、一般的に使われているWebスクラッドトレーニングセットの重複によるものであることを示す。 本研究では,言語モデルがトレーニングシーケンスを再生する速度が,トレーニングセット内のシーケンス数と超直線的に関連していることを示す。 トレーニングデータの非重複化にメソッドを適用すると、このようなプライバシ攻撃に対して言語モデルの方がかなり安全であることが分かりました。
  論文  参考訳（メタデータ） (2022-02-14T08:20:15Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)
• Training Data Leakage Analysis in Language Models [6.843491191969066]
  本稿では,強大かつ現実的な脅威モデルの下で漏洩する可能性のあるトレーニングデータ中のユーザコンテンツを識別する手法を提案する。 本研究では,トレーニングデータに固有の文断片を生成するモデルの能力を測定することにより,ユーザレベルのデータ漏洩を定量化する2つの指標を提案する。
  論文  参考訳（メタデータ） (2021-01-14T00:57:32Z)
• FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries [2.7564955518050693]
  教師モデルと直接対話することなく,個人情報を漏らしたり推測したりできるかどうかを検討する。 集約レベル情報から推測する新しい手法を提案する。 本研究は,情報漏洩が現実の状況で広く利用されている伝達学習フレームワークに対する真のプライバシー上の脅威であることを示す。
  論文  参考訳（メタデータ） (2020-10-27T03:02:40Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。