Fugu-MT 論文翻訳(概要): Skewed Memorization in Large Language Models: Quantification and Decomposition

論文の概要: Skewed Memorization in Large Language Models: Quantification and Decomposition

arxiv url: http://arxiv.org/abs/2502.01187v1
Date: Mon, 03 Feb 2025 09:23:53 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:05:48.859622
Title: Skewed Memorization in Large Language Models: Quantification and Decomposition
Title（参考訳）: 大規模言語モデルにおけるスキュード記憶:定量化と分解
Authors: Hao Li, Di Huang, Ziyu Wang, Amir M. Rahmani,
Abstract要約: LLM(Large Language Models)のメモリ化は、プライバシとセキュリティのリスクを引き起こす。本稿では,教師付き微調整(SFT)の記憶について検討し,トレーニング期間,データセットサイズ,サンプル間類似度との関係について検討する。
参考スコア（独自算出の注目度）: 23.097554469918357
License:
Abstract: Memorization in Large Language Models (LLMs) poses privacy and security risks, as models may unintentionally reproduce sensitive or copyrighted data. Existing analyses focus on average-case scenarios, often neglecting the highly skewed distribution of memorization. This paper examines memorization in LLM supervised fine-tuning (SFT), exploring its relationships with training duration, dataset size, and inter-sample similarity. By analyzing memorization probabilities over sequence lengths, we link this skewness to the token generation process, offering insights for estimating memorization and comparing it to established metrics. Through theoretical analysis and empirical evaluation, we provide a comprehensive understanding of memorization behaviors and propose strategies to detect and mitigate risks, contributing to more privacy-preserving LLMs.
Abstract（参考訳）: LLM(Large Language Models)のメモリ化は、プライバシとセキュリティのリスクを引き起こす。既存の分析では、記憶の高度に歪んだ分布を無視して、平均ケースのシナリオに焦点を当てている。本稿では,LLMによる微調整(SFT)の記憶について検討し,トレーニング期間,データセットサイズ,サンプル間の類似性について検討する。シーケンス長のメモリ化確率を解析することにより、この歪度をトークン生成プロセスにリンクし、メモリ化を推定し、既存のメトリクスと比較するための洞察を提供する。理論的分析と経験的評価を通じて,記憶行動の包括的理解を提供し,リスクの検出・緩和戦略を提案し,よりプライバシー保護の LLM に寄与する。

関連論文リスト

Detecting Memorization in Large Language Models [0.0]
大規模言語モデル(LLM)は自然言語処理において驚くべき結果を得たが、トレーニングデータの一部を記憶する傾向にある。従来の暗記検出方法は出力確率や損失関数に依存している。 LLM内のニューロンの活性化を調べることによって,記憶を正確に検出する解析手法を提案する。
論文参考訳（メタデータ） (2024-12-02T00:17:43Z)
A Geometric Framework for Understanding Memorization in Generative Models [11.263296715798374]
近年の研究では、深層生成モデルにより、デプロイ時にトレーニングデータポイントを記憶・再生することが可能であることが示されている。これらの知見は、特に暗記によって引き起こされる法的およびプライバシー上のリスクを考慮して、生成モデルのユーザビリティを疑問視する。本稿では, 多様体の暗記仮説(MMH)を, 暗記を推論する明快な言語として活用する幾何学的枠組みを提案する。
論文参考訳（メタデータ） (2024-10-31T18:09:01Z)
Measuring memorization through probabilistic discoverable extraction [19.4511858341881]
大規模言語モデル(LLM)は、トレーニングデータを記憶する可能性がある。 LLMの記憶率を測定するための現在の手法は、単一系列のグレディサンプリングに依存している。
論文参考訳（メタデータ） (2024-10-25T11:37:04Z)
Undesirable Memorization in Large Language Models: A Survey [5.659933808910005]
大規模言語モデル(LLM)における記憶の話題に関する知識体系化(SoK)を提案する。記憶とは、モデルがトレーニングデータからフレーズやフレーズを保存し、再生する傾向があることである。本研究は,記憶現象に寄与する要因の解析に続き,記憶現象を測定するために用いられる指標と方法について議論する。
論文参考訳（メタデータ） (2024-10-03T16:34:46Z)
Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
論文参考訳（メタデータ） (2024-07-25T07:10:31Z)
Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。よりシンプルで知識集約的なタスクでは記憶が大きな役割を担い、一方、一般化はより困難で推論に基づくタスクでは鍵となる。
論文参考訳（メタデータ） (2024-07-20T21:24:40Z)
ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
ReCaLL (Relative Conditional Log-Likelihood) という新しいメンバーシップ推論攻撃(MIA)を提案する。 ReCaLLは、ターゲットデータポイントを非メンバーコンテキストでプレフィックスする場合、条件付きログライクな状態の相対的変化を調べる。我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2024-06-23T00:23:13Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文参考訳（メタデータ） (2023-10-10T15:41:26Z)
Mitigating Approximate Memorization in Language Models via Dissimilarity Learned Policy [0.0]
大規模言語モデル(LLM)は大量のデータに基づいて訓練される。 LLMは、トレーニングデータの一部を記憶し、相手が適切にプロンプトすると、それらのデータを冗長に出力することを示した。
論文参考訳（メタデータ） (2023-05-02T15:53:28Z)
Exploring Memorization in Adversarial Training [58.38336773082818]
本稿では, 能力, 収束, 一般化, 特に強靭なオーバーフィッティングの深い理解を促進するための, 対人訓練(AT)における記憶効果について検討する。本稿では,詳細な記憶分析を動機とした新たな緩和アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-03T05:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。