論文の概要: Exploring Memorization in Fine-tuned Language Models
- arxiv url: http://arxiv.org/abs/2310.06714v1
- Date: Tue, 10 Oct 2023 15:41:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 14:46:10.990988
- Title: Exploring Memorization in Fine-tuned Language Models
- Title(参考訳): 微調整言語モデルにおける記憶の探索
- Authors: Shenglai Zeng, Yaxin Li, Jie Ren, Yiding Liu, Han Xu, Pengfei He, Yue
Xing, Shuaiqiang Wang, Jiliang Tang, Dawei Yin
- Abstract要約: 我々は,タスク間の微調整中にLMの記憶を探索するために,初めて包括的な解析を行った。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、微調整の暗記化がタスク間での相違を強く示していることを示している。
その記憶挙動を調べることで、マルチタスク微調整舗装は微調整微調整記憶を緩和するための潜在的戦略となる。
- 参考スコア(独自算出の注目度): 53.52403444655213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs have shown great capabilities in various tasks but also exhibited
memorization of training data, thus raising tremendous privacy and copyright
concerns. While prior work has studied memorization during pre-training, the
exploration of memorization during fine-tuning is rather limited. Compared with
pre-training, fine-tuning typically involves sensitive data and diverse
objectives, thus may bring unique memorization behaviors and distinct privacy
risks. In this work, we conduct the first comprehensive analysis to explore
LMs' memorization during fine-tuning across tasks. Our studies with
open-sourced and our own fine-tuned LMs across various tasks indicate that
fine-tuned memorization presents a strong disparity among tasks. We provide an
understanding of this task disparity via sparse coding theory and unveil a
strong correlation between memorization and attention score distribution. By
investigating its memorization behavior, multi-task fine-tuning paves a
potential strategy to mitigate fine-tuned memorization.
- Abstract(参考訳): LLMは様々なタスクにおいて優れた能力を示してきたが、トレーニングデータの記憶も示しており、プライバシーと著作権の懸念を招いている。
事前学習中の記憶の研究は行われているが、微調整時の記憶の探索は限られている。
事前トレーニングと比較すると、微調整は通常、機密データとさまざまな目的を伴うため、ユニークな記憶行動と異なるプライバシリスクをもたらす可能性がある。
本稿では,タスク間の微調整時のlmsの記憶を探索する最初の包括的な解析を行う。
オープンソースと、さまざまなタスクにまたがる微調整LMによる研究は、微調整の暗記化がタスク間の大きな相違を示すことを示している。
我々は,この課題の差異をスパース符号化理論を通じて理解し,記憶力と注意スコア分布との間に強い相関関係を明らかにする。
その記憶挙動を調べることで、マルチタスク微調整舗装は微調整微調整記憶を緩和するための潜在的戦略となる。
関連論文リスト
- ROME: Memorization Insights from Text, Probability and Hidden State in
Large Language Models [19.621987066222268]
我々は,暗記されたグループと非暗記されたグループ間での相違を比較検討し,ROMEという新しい手法を提案する。
具体的には、まず、選択されたサンプルを記憶されたグループと記憶されていないグループに分類し、次にテキスト、確率、隠された状態の洞察から2つのグループのデモを比較します。
論文 参考訳(メタデータ) (2024-03-01T13:15:30Z) - Subspace Chronicles: How Linguistic Information Emerges, Shifts and
Interacts during Language Model Training [56.74440457571821]
我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。
タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。
この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
論文 参考訳(メタデータ) (2023-10-25T09:09:55Z) - SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。
LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。
本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
論文 参考訳(メタデータ) (2023-10-24T14:25:53Z) - Quantifying and Analyzing Entity-level Memorization in Large Language
Models [4.59914731734176]
大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。
記憶から生じるプライバシーリスクが注目されている。
実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
論文 参考訳(メタデータ) (2023-08-30T03:06:47Z) - Mitigating Approximate Memorization in Language Models via Dissimilarity
Learned Policy [0.0]
大規模言語モデル(LLM)は大量のデータに基づいて訓練される。
LLMは、トレーニングデータの一部を記憶し、相手が適切にプロンプトすると、それらのデータを冗長に出力することを示した。
論文 参考訳(メタデータ) (2023-05-02T15:53:28Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳(メタデータ) (2022-10-17T20:15:24Z) - Towards Differential Relational Privacy and its use in Question
Answering [109.4452196071872]
データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。
我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。
質問回答のための大規模モデルを用いた実験において,概念を解説する。
論文 参考訳(メタデータ) (2022-03-30T22:59:24Z) - Quantifying Memorization Across Neural Language Models [61.58529162310382]
大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。
これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。
本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
論文 参考訳(メタデータ) (2022-02-15T18:48:31Z) - Counterfactual Memorization in Neural Language Models [91.8747020391287]
様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。
言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。
トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
論文 参考訳(メタデータ) (2021-12-24T04:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。