論文の概要: Understanding Memorisation in LLMs: Dynamics, Influencing Factors, and Implications
- arxiv url: http://arxiv.org/abs/2407.19262v1
- Date: Sat, 27 Jul 2024 14:00:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 19:01:38.882550
- Title: Understanding Memorisation in LLMs: Dynamics, Influencing Factors, and Implications
- Title(参考訳): LLMにおける記憶の理解:ダイナミクス、影響要因、含意
- Authors: Till Speicher, Mohammad Aflah Khan, Qinyuan Wu, Vedant Nanda, Soumi Das, Bishwamittra Ghosh, Krishna P. Gummadi, Evimaria Terzi,
- Abstract要約: 本研究では,大規模言語モデル (LLM) がどの程度トレーニングデータを記憶しているかについて検討する。
ランダムな文字列に対して繰り返しLLMを露呈する実験的なフレームワークを作成する。
我々は,一部の文字列を記憶しやすくする要因を特定し,記憶における局所的な接頭辞の役割とグローバルな文脈を同定する。
- 参考スコア(独自算出の注目度): 14.818820873377303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding whether and to what extent large language models (LLMs) have memorised training data has important implications for the reliability of their output and the privacy of their training data. In order to cleanly measure and disentangle memorisation from other phenomena (e.g. in-context learning), we create an experimental framework that is based on repeatedly exposing LLMs to random strings. Our framework allows us to better understand the dynamics, i.e., the behaviour of the model, when repeatedly exposing it to random strings. Using our framework, we make several striking observations: (a) we find consistent phases of the dynamics across families of models (Pythia, Phi and Llama2), (b) we identify factors that make some strings easier to memorise than others, and (c) we identify the role of local prefixes and global context in memorisation. We also show that sequential exposition to different random strings has a significant effect on memorisation. Our results, often surprising, have significant downstream implications in the study and usage of LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)がどの程度トレーニングデータを記憶したかを理解することは、その出力の信頼性とトレーニングデータのプライバシに重要な意味を持つ。
他の現象(例えば、文脈内学習)から記憶をきれいに計測し、解き放つために、ランダムな文字列に繰り返しLLMを露呈する実験的なフレームワークを作成します。
私たちのフレームワークは、ランダムな文字列に繰り返し公開する際に、モデルの振る舞いをよりよく理解することができます。
フレームワークを使用して、いくつかの顕著な観察を行います。
(a)モデルの族(Pythia,Phi,Llama2)間の力学の一貫した位相を求める。
b)一部の弦を他よりも覚えやすくする要因を特定し,
(c) 記憶における局所的な接頭辞の役割とグローバルな文脈を同定する。
また,異なるランダム文字列への逐次展開が記憶に重大な影響を及ぼすことを示す。
LLMの研究と利用において,我々の研究成果は,しばしば驚くべきものである。
関連論文リスト
- Quantifying In-Context Reasoning Effects and Memorization Effects in LLMs [101.51435599249234]
大規模言語モデル (LLM) が用いた, 正確な記憶と文脈内推論効果を定義し, 定量化するための公理系を提案する。
具体的には,公理系により,記憶効果を基礎記憶効果とカオス記憶効果に分類することができる。
実験により, 暗記効果と文脈内推論効果の明確な乱れが, LLMによって符号化された詳細な推論パターンの簡易な検証を可能にした。
論文 参考訳(メタデータ) (2024-05-20T08:51:03Z) - A Multi-Perspective Analysis of Memorization in Large Language Models [10.276594755936529]
大規模言語モデル(LLM)は様々な分野で前例のない性能を示す。
LLMはそれらをトレーニングするのと同じコンテンツを生成することができる。
この研究は、様々な観点から記憶を包括的に議論した。
論文 参考訳(メタデータ) (2024-05-19T15:00:50Z) - LLM In-Context Recall is Prompt Dependent [0.0]
これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。
本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
論文 参考訳(メタデータ) (2024-04-13T01:13:59Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文 参考訳(メタデータ) (2023-10-10T15:41:26Z) - Intuitive or Dependent? Investigating LLMs' Behavior Style to
Conflicting Prompts [9.399159332152013]
本研究では,Large Language Models (LLM) の動作を,内部記憶と競合するプロンプトに直面する場合の挙動について検討する。
これにより、LLMの意思決定機構を理解し、検索強化生成(RAG)のような現実世界のアプリケーションにも役立つ。
論文 参考訳(メタデータ) (2023-09-29T17:26:03Z) - Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文 参考訳(メタデータ) (2023-05-24T06:41:09Z) - Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。
本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。
ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T06:45:02Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Understanding Unintended Memorization in Federated Learning [5.32880378510767]
フェデレートラーニングの異なるコンポーネントが意図しない暗記を減らす上で重要な役割を担っていることを示す。
また,意図しない記憶の少ないモデルにおいて,強いユーザレベルの差分プライバシ保証によるトレーニングが結果をもたらすことを示す。
論文 参考訳(メタデータ) (2020-06-12T22:10:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。