論文の概要: Exploring Memorization in Fine-tuned Language Models
- arxiv url: http://arxiv.org/abs/2310.06714v2
- Date: Thu, 22 Feb 2024 21:19:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 17:57:53.499687
- Title: Exploring Memorization in Fine-tuned Language Models
- Title(参考訳): 微調整言語モデルにおける記憶の探索
- Authors: Shenglai Zeng, Yaxin Li, Jie Ren, Yiding Liu, Han Xu, Pengfei He, Yue
Xing, Shuaiqiang Wang, Jiliang Tang, Dawei Yin
- Abstract要約: 我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
- 参考スコア(独自算出の注目度): 53.52403444655213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown great capabilities in various tasks
but also exhibited memorization of training data, raising tremendous privacy
and copyright concerns. While prior works have studied memorization during
pre-training, the exploration of memorization during fine-tuning is rather
limited. Compared to pre-training, fine-tuning typically involves more
sensitive data and diverse objectives, thus may bring distinct privacy risks
and unique memorization behaviors. In this work, we conduct the first
comprehensive analysis to explore language models' (LMs) memorization during
fine-tuning across tasks. Our studies with open-sourced and our own fine-tuned
LMs across various tasks indicate that memorization presents a strong disparity
among different fine-tuning tasks. We provide an intuitive explanation of this
task disparity via sparse coding theory and unveil a strong correlation between
memorization and attention score distribution.
- Abstract(参考訳): 大規模言語モデル(llm)は様々なタスクにおいて優れた能力を発揮してきましたが、トレーニングデータの記憶力も示しています。
先行研究は事前学習中の記憶について研究してきたが、微調整時の記憶の探索は限られている。
事前トレーニングと比較すると、微調整は一般的により敏感なデータと多様な目的を伴うため、異なるプライバシーリスクとユニークな記憶行動をもたらす可能性がある。
本稿では,タスク間の微調整中に言語モデル(lms)の記憶を探索する最初の包括的解析を行う。
オープンソースによる研究と,様々なタスクにまたがる微調整lmsの研究から,微調整タスク間では記憶力の差が強いことが判明した。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
関連論文リスト
- ROME: Memorization Insights from Text, Probability and Hidden State in
Large Language Models [19.621987066222268]
我々は,暗記されたグループと非暗記されたグループ間での相違を比較検討し,ROMEという新しい手法を提案する。
具体的には、まず、選択されたサンプルを記憶されたグループと記憶されていないグループに分類し、次にテキスト、確率、隠された状態の洞察から2つのグループのデモを比較します。
論文 参考訳(メタデータ) (2024-03-01T13:15:30Z) - Subspace Chronicles: How Linguistic Information Emerges, Shifts and
Interacts during Language Model Training [56.74440457571821]
我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。
タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。
この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
論文 参考訳(メタデータ) (2023-10-25T09:09:55Z) - SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。
LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。
本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
論文 参考訳(メタデータ) (2023-10-24T14:25:53Z) - Quantifying and Analyzing Entity-level Memorization in Large Language
Models [4.59914731734176]
大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。
記憶から生じるプライバシーリスクが注目されている。
実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
論文 参考訳(メタデータ) (2023-08-30T03:06:47Z) - Mitigating Approximate Memorization in Language Models via Dissimilarity
Learned Policy [0.0]
大規模言語モデル(LLM)は大量のデータに基づいて訓練される。
LLMは、トレーニングデータの一部を記憶し、相手が適切にプロンプトすると、それらのデータを冗長に出力することを示した。
論文 参考訳(メタデータ) (2023-05-02T15:53:28Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳(メタデータ) (2022-10-17T20:15:24Z) - Towards Differential Relational Privacy and its use in Question
Answering [109.4452196071872]
データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。
我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。
質問回答のための大規模モデルを用いた実験において,概念を解説する。
論文 参考訳(メタデータ) (2022-03-30T22:59:24Z) - Quantifying Memorization Across Neural Language Models [61.58529162310382]
大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。
これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。
本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
論文 参考訳(メタデータ) (2022-02-15T18:48:31Z) - Counterfactual Memorization in Neural Language Models [91.8747020391287]
様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。
言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。
トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
論文 参考訳(メタデータ) (2021-12-24T04:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。