論文の概要: Deep Contrastive Unlearning for Language Models

• arxiv url: http://arxiv.org/abs/2503.14900v1
• Date: Wed, 19 Mar 2025 04:58:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:25:49.943494
• Title: Deep Contrastive Unlearning for Language Models
• Title（参考訳）: 言語モデルのための深層コントラスト学習
• Authors: Estrid He, Tabinda Sarwar, Ibrahim Khalil, Xun Yi, Ke Wang,
• Abstract要約: 本稿では,Deep-Tuning(DeepCUT)言語モデルのためのDeep Contrastive Unlearningという機械学習フレームワークを提案する。 提案モデルでは,モデルの潜在空間を直接最適化することにより,機械学習を実現する。
• 参考スコア（独自算出の注目度）: 9.36216515987051
• License:
• Abstract: The past a few years have witnessed the great success of large language models, demonstrating powerful capabilities in comprehending textual data and generating human-like languages. Large language models achieve success by being trained on vast amounts of textual data, including online sources with copyrighted content and user-generated knowledge. However, this comes at a cost: the potential risk of exposing users' privacy and violating copyright protections. Thus, to safeguard individuals' "right to be forgotten", there has been increasing interests in machine unlearning -- the process of removing information carried by particular training samples from a model while not deteriorating its predictive quality. This is a challenging task due to the black-box nature of language models. Most existing studies focus on mitigating the impact of those forgot samples upon a model's outputs, and do not explicitly consider the geometric distributions of samples in the latent space of a model. To address this issue, we propose a machine unlearning framework, named Deep Contrastive Unlearning for fine-Tuning (DeepCUT) language models. Our proposed model achieves machine unlearning by directly optimizing the latent space of a model. Comprehensive experiments on real-world datasets demonstrate the effectiveness and efficiency of DeepCUT with consistent and significant improvement over baseline methods.
• Abstract（参考訳）: 過去数年間、大きな言語モデルの偉大な成功を目の当たりにし、テキストデータの解釈と人間に似た言語の生成において強力な能力を実証してきた。 大規模な言語モデルは、著作権のあるコンテンツとユーザー生成知識を持つオンラインソースを含む膨大なテキストデータで訓練されることで、成功を収める。 しかし、これはコストがかかる。ユーザーのプライバシーを暴露し、著作権保護を侵害するリスクがある。 したがって、個人の「忘れられる権利」を守るため、予測品質を損なうことなく、特定のトレーニングサンプルによって運ばれた情報をモデルから取り除くプロセスである、機械学習への関心が高まっている。 言語モデルのブラックボックスの性質のため、これは難しいタスクです。 既存の研究の多くは、これらの忘れられたサンプルがモデル出力に与える影響を緩和することに焦点を当てており、モデルの潜在空間におけるサンプルの幾何学的分布を明示的に考慮していない。 この問題に対処するため,Deep-Tuning(DeepCUT)言語モデルのためのDeep Contrastive Unlearningという機械学習フレームワークを提案する。 提案モデルでは,モデルの潜在空間を直接最適化することにより,機械学習を実現する。 実世界のデータセットに関する総合的な実験は、DeepCUTの有効性と効率をベースライン法よりも一貫した、重要な改善で実証している。

関連論文リスト

• Cross-Lingual Unlearning of Selective Knowledge in Multilingual Language Models [38.10962690551031]
  事前訓練された言語モデルは、プライベートデータや著作権データを含む膨大な量の情報を記憶し、重大な安全上の懸念を提起する。 センシティブなデータを除いた後、これらのモデルをリトレーニングすることは違法に高価であり、機械学習は実用的で費用対効果の高い代替手段となる。 本稿では,多言語モデルにおける機械学習の先駆的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-18T07:40:18Z)
• Federated Learning driven Large Language Models for Swarm Intelligence: A Survey [2.769238399659845]
  Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する 私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。 摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• On the application of Large Language Models for language teaching and assessment technology [18.735612275207853]
  我々は,AIによる言語教育とアセスメントシステムに大規模言語モデルを導入する可能性を検討する。 より大きな言語モデルは、テキスト生成における以前のモデルよりも改善されていることがわかった。 自動階調と文法的誤り訂正において、よく知られたベンチマークで進捗が確認されたタスクについては、初期の調査では、彼ら自身の大きな言語モデルが最先端の結果を改善していないことが示されている。
  論文  参考訳（メタデータ） (2023-07-17T11:12:56Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Training Data Leakage Analysis in Language Models [6.843491191969066]
  本稿では,強大かつ現実的な脅威モデルの下で漏洩する可能性のあるトレーニングデータ中のユーザコンテンツを識別する手法を提案する。 本研究では,トレーニングデータに固有の文断片を生成するモデルの能力を測定することにより,ユーザレベルのデータ漏洩を定量化する2つの指標を提案する。
  論文  参考訳（メタデータ） (2021-01-14T00:57:32Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
  CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
  論文  参考訳（メタデータ） (2020-05-27T15:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。