論文の概要: Understanding Memorisation in LLMs: Dynamics, Influencing Factors, and Implications
- arxiv url: http://arxiv.org/abs/2407.19262v1
- Date: Sat, 27 Jul 2024 14:00:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 19:01:38.882550
- Title: Understanding Memorisation in LLMs: Dynamics, Influencing Factors, and Implications
- Title（参考訳）: LLMにおける記憶の理解:ダイナミクス、影響要因、含意
- Authors: Till Speicher, Mohammad Aflah Khan, Qinyuan Wu, Vedant Nanda, Soumi Das, Bishwamittra Ghosh, Krishna P. Gummadi, Evimaria Terzi,
- Abstract要約: 本研究では,大規模言語モデル (LLM) がどの程度トレーニングデータを記憶しているかについて検討する。
ランダムな文字列に対して繰り返しLLMを露呈する実験的なフレームワークを作成する。
我々は,一部の文字列を記憶しやすくする要因を特定し,記憶における局所的な接頭辞の役割とグローバルな文脈を同定する。
- 参考スコア（独自算出の注目度）: 14.818820873377303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding whether and to what extent large language models (LLMs) have memorised training data has important implications for the reliability of their output and the privacy of their training data. In order to cleanly measure and disentangle memorisation from other phenomena (e.g. in-context learning), we create an experimental framework that is based on repeatedly exposing LLMs to random strings. Our framework allows us to better understand the dynamics, i.e., the behaviour of the model, when repeatedly exposing it to random strings. Using our framework, we make several striking observations: (a) we find consistent phases of the dynamics across families of models (Pythia, Phi and Llama2), (b) we identify factors that make some strings easier to memorise than others, and (c) we identify the role of local prefixes and global context in memorisation. We also show that sequential exposition to different random strings has a significant effect on memorisation. Our results, often surprising, have significant downstream implications in the study and usage of LLMs.
- Abstract（参考訳）: 大規模言語モデル(LLM)がどの程度トレーニングデータを記憶したかを理解することは、その出力の信頼性とトレーニングデータのプライバシに重要な意味を持つ。
他の現象(例えば、文脈内学習)から記憶をきれいに計測し、解き放つために、ランダムな文字列に繰り返しLLMを露呈する実験的なフレームワークを作成します。
私たちのフレームワークは、ランダムな文字列に繰り返し公開する際に、モデルの振る舞いをよりよく理解することができます。
フレームワークを使用して、いくつかの顕著な観察を行います。
(a)モデルの族(Pythia,Phi,Llama2)間の力学の一貫した位相を求める。
b)一部の弦を他よりも覚えやすくする要因を特定し,
(c) 記憶における局所的な接頭辞の役割とグローバルな文脈を同定する。
また,異なるランダム文字列への逐次展開が記憶に重大な影響を及ぼすことを示す。
LLMの研究と利用において,我々の研究成果は,しばしば驚くべきものである。
関連論文リスト
- Dynamic Uncertainty Ranking: Enhancing In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。
専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。
ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
論文 参考訳（メタデータ） (2024-10-31T03:42:17Z) - Undesirable Memorization in Large Language Models: A Survey [5.659933808910005]
大規模言語モデル(LLM)における記憶の話題に関する知識体系化(SoK)を提案する。
記憶とは、モデルがトレーニングデータからフレーズやフレーズを保存し、再生する傾向があることである。
本研究は,記憶現象に寄与する要因の解析に続き,記憶現象を測定するために用いられる指標と方法について議論する。
論文 参考訳（メタデータ） (2024-10-03T16:34:46Z) - Investigating Context-Faithfulness in Large Language Models: The Roles of Memory Strength and Evidence Style [13.968658352075334]
記憶力とエビデンス提示が外的エビデンスに対するLarge Language Modelsの受容性に及ぼす影響について検討する。
メモリの強度が高い問題では、特に GPT-4 のようなより大きな LLM では LLM は内部メモリに依存しやすい。
論文 参考訳（メタデータ） (2024-09-17T07:44:06Z) - Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
大規模言語モデル(LLM)は、実際に目に見えないタスクに一般化するか、大量の事前学習データを記憶することに依存するかという議論を引き起こしている。
本稿では,LLMの出力確率と事前学習データ頻度との相関を計測する,メモリ化,分散メモリ化という拡張された概念を導入する。
本研究は, より単純で知識集約的なタスクにおいて, 暗記がより大きな役割を果たすことを示した。
論文 参考訳（メタデータ） (2024-07-20T21:24:40Z) - Quantifying In-Context Reasoning Effects and Memorization Effects in LLMs [101.51435599249234]
大規模言語モデル (LLM) が用いた, 正確な記憶と文脈内推論効果を定義し, 定量化するための公理系を提案する。
具体的には,公理系により,記憶効果を基礎記憶効果とカオス記憶効果に分類することができる。
実験により, 暗記効果と文脈内推論効果の明確な乱れが, LLMによって符号化された詳細な推論パターンの簡易な検証を可能にした。
論文 参考訳（メタデータ） (2024-05-20T08:51:03Z) - A Multi-Perspective Analysis of Memorization in Large Language Models [10.276594755936529]
大規模言語モデル(LLM)は様々な分野で前例のない性能を示す。
LLMはそれらをトレーニングするのと同じコンテンツを生成することができる。
この研究は、様々な観点から記憶を包括的に議論した。
論文 参考訳（メタデータ） (2024-05-19T15:00:50Z) - LLM In-Context Recall is Prompt Dependent [0.0]
これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。
本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
論文 参考訳（メタデータ） (2024-04-13T01:13:59Z) - Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文 参考訳（メタデータ） (2023-10-10T15:41:26Z) - Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。
本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。
ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文 参考訳（メタデータ） (2023-05-22T06:45:02Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳（メタデータ） (2023-01-27T18:59:01Z) - Understanding Unintended Memorization in Federated Learning [5.32880378510767]
フェデレートラーニングの異なるコンポーネントが意図しない暗記を減らす上で重要な役割を担っていることを示す。
また,意図しない記憶の少ないモデルにおいて,強いユーザレベルの差分プライバシ保証によるトレーニングが結果をもたらすことを示す。
論文 参考訳（メタデータ） (2020-06-12T22:10:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。