論文の概要: Q-LSTM Language Model -- Decentralized Quantum Multilingual Pre-Trained Language Model for Privacy Protection

• arxiv url: http://arxiv.org/abs/2210.03221v1
• Date: Thu, 6 Oct 2022 21:29:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 13:25:30.344881
• Title: Q-LSTM Language Model -- Decentralized Quantum Multilingual Pre-Trained Language Model for Privacy Protection
• Title（参考訳）: Q-LSTM言語モデル - プライバシ保護のための分散量子多言語事前訓練言語モデル
• Authors: Shuyue Stella Li, Xiangyu Zhang, Shu Zhou, Hongchao Shu, Ruixing Liang, Hexin Liu, and Leibny Paola Garcia
• Abstract要約: 大規模言語モデルは、私たちのプライベート情報をエンコードしたり、反映したりする可能性のある、膨大な量の自然言語データに基づいて訓練されています。 悪意のあるエージェントは、事前トレーニングプロセスにデータ衛生と差分プライバシーアルゴリズムが関与している場合でも、トレーニングデータをリバースエンジニアリングすることができる。 大規模言語モデルの学習におけるプライバシー問題に対処する分散トレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.0038761646405225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale language models are trained on a massive amount of natural language data that might encode or reflect our private information. With careful manipulation, malicious agents can reverse engineer the training data even if data sanitation and differential privacy algorithms were involved in the pre-training process. In this work, we propose a decentralized training framework to address privacy concerns in training large-scale language models. The framework consists of a cloud quantum language model built with Variational Quantum Classifiers (VQC) for sentence embedding and a local Long-Short Term Memory (LSTM) model. We use both intrinsic evaluation (loss, perplexity) and extrinsic evaluation (downstream sentiment analysis task) to evaluate the performance of our quantum language model. Our quantum model was comparable to its classical counterpart on all the above metrics. We also perform ablation studies to look into the effect of the size of VQC and the size of training data on the performance of the model. Our approach solves privacy concerns without sacrificing downstream task performance. The intractability of quantum operations on classical hardware ensures the confidentiality of the training data and makes it impossible to be recovered by any adversary.
• Abstract（参考訳）: 大規模な言語モデルは、プライベート情報をエンコードしたり、反映したりする可能性のある膨大な自然言語データに基づいてトレーニングされます。 注意深い操作によって、悪意のあるエージェントは、事前トレーニングプロセスにデータ衛生と差分プライバシーアルゴリズムが関与している場合でも、トレーニングデータをリバースエンジニアリングすることができる。 本研究では,大規模言語モデルの学習におけるプライバシー問題に対処する分散トレーニングフレームワークを提案する。 このフレームワークは、文埋め込みのための変分量子分類器(VQC)とローカル長短項メモリ(LSTM)モデルで構築されたクラウド量子言語モデルで構成されている。 量子言語モデルの性能評価には,内在的評価(ロス,パープレキシティ)と外在的評価(ダウンストリーム感情分析タスク)の両方を用いる。 私たちの量子モデルは、上記のすべてのメトリクスにおいて古典的なものと同等でした。 また,VQCのサイズとトレーニングデータのサイズがモデルの性能に及ぼす影響を検討するためのアブレーション研究を行った。 当社のアプローチでは,下流タスクのパフォーマンスを犠牲にすることなく,プライバシの問題を解決する。 古典的ハードウェアにおける量子演算の難易度は、トレーニングデータの機密性を保証し、いかなる敵によっても回復することができない。

関連論文リスト

• Prospects of Privacy Advantage in Quantum Machine Learning [3.7592122147132767]
  本研究の動機は,古典モデルの勾配から入力データを復元することに成功したことにある。 プライバシの脆弱性を決定する上で,VQCアンサッツのリー代数(DLA)が果たす重要な役割を明らかにする。
  論文  参考訳（メタデータ） (2024-05-14T17:49:18Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Differentially Private Decoding in Large Language Models [14.221692239892207]
  本稿では,復号段階で既に訓練済みのモデルに適用可能な,単純で分かり易く,計算的に軽量な摂動機構を提案する。 我々の摂動メカニズムはモデルに依存しず、どんな大規模言語モデルとも併用することができる。
  論文  参考訳（メタデータ） (2022-05-26T20:50:58Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Quantum machine learning with differential privacy [3.2442879131520126]
  微分プライベート最適化アルゴリズムを用いて,プライバシ保存を訓練したハイブリッド量子古典モデルを開発した。 実験では、差分プライベートQMLは、モデル精度を低下させることなく、ユーザに敏感な情報を保護することができる。
  論文  参考訳（メタデータ） (2021-03-10T18:06:15Z)
• Training Data Leakage Analysis in Language Models [6.843491191969066]
  本稿では,強大かつ現実的な脅威モデルの下で漏洩する可能性のあるトレーニングデータ中のユーザコンテンツを識別する手法を提案する。 本研究では,トレーニングデータに固有の文断片を生成するモデルの能力を測定することにより,ユーザレベルのデータ漏洩を定量化する2つの指標を提案する。
  論文  参考訳（メタデータ） (2021-01-14T00:57:32Z)
• Pre-Training a Language Model Without Human Language [74.11825654535895]
  先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。 非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。 驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
  論文  参考訳（メタデータ） (2020-12-22T13:38:06Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Differentially Private Language Models Benefit from Public Pre-training [1.2676356746752895]
  品質とプライバシーの保護を同時に行う言語モデル学習の実現可能性について検討する。 DPの微調整により,プライベートドメインにおける言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-09-13T00:50:44Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。