Fugu-MT 論文翻訳(概要): Mitigating Memorization In Language Models

論文の概要: Mitigating Memorization In Language Models

arxiv url: http://arxiv.org/abs/2410.02159v1
Date: Thu, 3 Oct 2024 02:53:51 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 08:25:54.877577
Title: Mitigating Memorization In Language Models
Title（参考訳）: 言語モデルにおける記憶の緩和
Authors: Mansi Sakarvadia, Aswathy Ajith, Arham Khan, Nathaniel Hudson, Caleb Geniesse, Kyle Chard, Yaoqing Yang, Ian Foster, Michael W. Mahoney,
Abstract要約: 言語モデル(LM)は情報を「記憶」し、トレーニングデータをその重みにエンコードすることで、推論時クエリがそのデータの冗長な復活につながる。本稿では,メモリ化緩和手法の高速化と評価を目的とした,小型で計算効率のよいLMのスイートであるTinyMemを紹介する。特に,提案した未学習手法である BalancedSubnet は,目標タスクの性能を保ちながら,記憶情報を削除する他の緩和手法よりも優れていることを示す。
参考スコア（独自算出の注目度）: 37.899013074095336
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Language models (LMs) can "memorize" information, i.e., encode training data in their weights in such a way that inference-time queries can lead to verbatim regurgitation of that data. This ability to extract training data can be problematic, for example, when data are private or sensitive. In this work, we investigate methods to mitigate memorization: three regularizer-based, three finetuning-based, and eleven machine unlearning-based methods, with five of the latter being new methods that we introduce. We also introduce TinyMem, a suite of small, computationally-efficient LMs for the rapid development and evaluation of memorization-mitigation methods. We demonstrate that the mitigation methods that we develop using TinyMem can successfully be applied to production-grade LMs, and we determine via experiment that: regularizer-based mitigation methods are slow and ineffective at curbing memorization; fine-tuning-based methods are effective at curbing memorization, but overly expensive, especially for retaining higher accuracies; and unlearning-based methods are faster and more effective, allowing for the precise localization and removal of memorized information from LM weights prior to inference. We show, in particular, that our proposed unlearning method BalancedSubnet outperforms other mitigation methods at removing memorized information while preserving performance on target tasks.
Abstract（参考訳）: 言語モデル(LM)は、トレーニングデータをその重みにエンコードすることで、推論時クエリがそのデータの冗長な復活につながるように、情報を「記憶」することができる。このトレーニングデータを抽出する機能は、例えば、データがプライベートまたはセンシティブである場合など、問題になる可能性がある。本研究では,3つの正則化法,3つの微調整法,11つの機械非学習法,および5つの手法を新たに導入した。また,TinyMemは,メモリ化緩和手法の迅速な開発と評価を行うための,計算効率の小さい小型LMのスイートである。我々は、TinyMemを用いて開発した緩和法が、生産段階のLMに適用可能であることを実証し、また、正規化による緩和法は、暗記を抑えるのに遅く、非効率であり、微調整による手法は、暗記を抑えるのに効果的であるが、特に高い精度を維持するのに非常に高価であり、非学習ベースの手法はより高速かつ効果的であり、推論に先立ってLM重みから正確な局所化と暗記情報の除去を可能にする、実験によって決定する。特に,提案した未学習手法である BalancedSubnet は,目標タスクの性能を保ちながら,記憶情報を削除する他の緩和手法よりも優れていることを示す。

関連論文リスト

Does Unlearning Truly Unlearn? A Black Box Evaluation of LLM Unlearning Methods [1.9799527196428242]
大規模言語モデルアンラーニングは、LLMが悪意ある目的のために使用するのを防ぐために学んだ有害な情報を除去することを目的としている。 LMUとRMUは、LLMアンラーニングの2つの方法として提案され、アンラーニングベンチマークで印象的な結果を得た。
論文参考訳（メタデータ） (2024-11-18T22:31:17Z)
What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文参考訳（メタデータ） (2024-11-12T09:52:40Z)
Scalability of memorization-based machine unlearning [2.5782420501870296]
機械学習(MUL)は、事前訓練されたモデルからデータの特定のサブセットの影響を取り除くことに焦点を当てている。記憶に基づく未学習法が開発され、未学習の品質に関して例外的な性能を示した。我々は、一連の記憶スコアプロキシを用いて、最先端の記憶型MULアルゴリズムのスケーラビリティに挑戦する。
論文参考訳（メタデータ） (2024-10-21T21:18:39Z)
Unlocking Memorization in Large Language Models with Dynamic Soft Prompting [66.54460367290146]
大規模言語モデル(LLM)は、要約、質問応答、翻訳などの自然言語処理(NLP)タスクに革命をもたらした。 LLMはトレーニングデータを記憶する傾向があるため、重大なセキュリティリスクを生じ、プライバシー侵害や著作権侵害につながる可能性がある。動的,プレフィックスに依存したソフトプロンプトを用いたLLM記憶推定手法を提案する。
論文参考訳（メタデータ） (2024-09-20T18:56:32Z)
MEOW: MEMOry Supervised LLM Unlearning Via Inverted Facts [29.593170782882563]
大きな言語モデル(LLM)は機密情報を記憶し、潜在的な誤用に対する懸念を引き起こす。以前のプラクティスでは、実用性、効率性、堅牢性という3つの大きな課題に直面しています。勾配降下に基づくアンラーニング手法であるMEOWを提案する。
論文参考訳（メタデータ） (2024-09-18T09:55:48Z)
Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
論文参考訳（メタデータ） (2024-07-31T16:13:29Z)
PARMESAN: Parameter-Free Memory Search and Transduction for Dense Prediction Tasks [5.5127111704068374]
この研究は、トランスダクティブ推論によるディープラーニングの柔軟性に対処する。我々は,高密度予測タスクを解くためにメモリモジュールを活用するスケーラブルな手法であるPARMESANを提案する。提案手法は,一般的なアーキテクチャと互換性があり,標準で1D,2D,3Dグリッドベースのデータに転送する。
論文参考訳（メタデータ） (2024-03-18T12:55:40Z)
Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-31T03:35:59Z)
Orthogonal Subspace Learning for Language Model Continual Learning [45.35861158925975]
O-LoRAは、言語モデルにおける継続学習のためのシンプルで効率的なアプローチである。提案手法は,パラメータの余分な追加コストのみを誘導し,再生にユーザデータストレージを必要としない。
論文参考訳（メタデータ） (2023-10-22T02:23:44Z)
A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文参考訳（メタデータ） (2022-10-10T08:27:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。