論文の概要: Analyzing Memorization in Large Language Models through the Lens of Model Attribution

• arxiv url: http://arxiv.org/abs/2501.05078v1
• Date: Thu, 09 Jan 2025 09:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:16.788651
• Title: Analyzing Memorization in Large Language Models through the Lens of Model Attribution
• Title（参考訳）: モデル属性レンズによる大規模言語モデルの記憶分析
• Authors: Tarun Ram Menta, Susmit Agrawal, Chirag Agarwal,
• Abstract要約: 大規模言語モデル(LLM)は現代のアプリケーションでは一般的であるが、しばしばトレーニングデータを記憶し、プライバシー侵害や著作権問題を引き起こす。 異なる層におけるアテンションモジュールが,その記憶と一般化に与える影響を分析することによって,建築用レンズからの記憶について検討する。
• 参考スコア（独自算出の注目度）: 11.295483963637217
• License:
• Abstract: Large Language Models (LLMs) are prevalent in modern applications but often memorize training data, leading to privacy breaches and copyright issues. Existing research has mainly focused on posthoc analyses, such as extracting memorized content or developing memorization metrics, without exploring the underlying architectural factors that contribute to memorization. In this work, we investigate memorization from an architectural lens by analyzing how attention modules at different layers impact its memorization and generalization performance. Using attribution techniques, we systematically intervene in the LLM architecture by bypassing attention modules at specific blocks while keeping other components like layer normalization and MLP transformations intact. We provide theorems analyzing our intervention mechanism from a mathematical view, bounding the difference in layer outputs with and without our attributions. Our theoretical and empirical analyses reveal that attention modules in deeper transformer blocks are primarily responsible for memorization, whereas earlier blocks are crucial for the models generalization and reasoning capabilities. We validate our findings through comprehensive experiments on different LLM families (Pythia and GPTNeo) and five benchmark datasets. Our insights offer a practical approach to mitigate memorization in LLMs while preserving their performance, contributing to safer and more ethical deployment in real world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現代のアプリケーションでは一般的であるが、しばしばトレーニングデータを記憶し、プライバシー侵害や著作権問題を引き起こす。 既存の研究は主に、暗記内容の抽出や暗記メトリクスの開発など、暗記に寄与する基礎となるアーキテクチャ要因を探索することなく、ポストホック分析に重点を置いている。 本研究では,異なる層におけるアテンションモジュールが,その記憶と一般化性能に与える影響を分析することによって,建築用レンズからの記憶について検討する。 帰属的手法を用いて,特定のブロックの注意モジュールをバイパスし,層正規化やMLP変換などの他のコンポーネントをそのまま保持することにより,LLMアーキテクチャに系統的に介入する。 我々は、数学的視点から介入機構を解析し、帰属と非帰属の層出力の差を限定する定理を提供する。 我々の理論的および実証的な分析により、より深いトランスフォーマーブロックのアテンションモジュールが主に記憶に寄与するのに対し、初期のブロックは一般化と推論能力に欠かせないことが判明した。 我々は,異なるLLMファミリー(PythiaとGPTNeo)と5つのベンチマークデータセットの総合的な実験により,これらの知見を検証した。 私たちの洞察は、LCMのメモリ化を軽減しつつ、そのパフォーマンスを保ちながら、現実のアプリケーションにおけるより安全で倫理的なデプロイメントに寄与する実践的なアプローチを提供します。

関連論文リスト

• Think or Remember? Detecting and Directing LLMs Towards Memorization or Generalization [10.11351265687309]
  大規模言語モデル(LLM)における記憶と一般化の基礎的メカニズムについて検討する。 本研究は、特別に設計されたデータセットと実験スケールのLLMを活用したケーススタディとして機能する。
  論文  参考訳（メタデータ） (2024-12-24T15:28:56Z)
• Detecting Memorization in Large Language Models [0.0]
  大規模言語モデル(LLM)は自然言語処理において驚くべき結果を得たが、トレーニングデータの一部を記憶する傾向にある。 従来の暗記検出方法は出力確率や損失関数に依存している。 LLM内のニューロンの活性化を調べることによって,記憶を正確に検出する解析手法を提案する。
  論文  参考訳（メタデータ） (2024-12-02T00:17:43Z)
• Undesirable Memorization in Large Language Models: A Survey [5.659933808910005]
  大規模言語モデル(LLM)における記憶の話題に関する知識体系化(SoK)を提案する。 記憶とは、モデルがトレーニングデータからフレーズやフレーズを保存し、再生する傾向があることである。 本研究は,記憶現象に寄与する要因の解析に続き,記憶現象を測定するために用いられる指標と方法について議論する。
  論文  参考訳（メタデータ） (2024-10-03T16:34:46Z)
• Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
  LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。 各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。 検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
  論文  参考訳（メタデータ） (2024-09-04T17:01:02Z)
• A Survey on the Memory Mechanism of Large Language Model based Agents [66.4963345269611]
  大規模言語モデル(LLM)に基づくエージェントは、最近、研究や産業コミュニティから多くの注目を集めている。 LLMベースのエージェントは、現実の問題を解決する基礎となる自己進化能力に特徴付けられる。 エージェント-環境相互作用をサポートする重要なコンポーネントは、エージェントのメモリである。
  論文  参考訳（メタデータ） (2024-04-21T01:49:46Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Do LLMs Dream of Ontologies? [13.776194387957617]
  大規模モデル言語(LLM)は、様々な自然言語処理タスクにまたがる顕著な記憶を実証している。 本稿では,LLMが公開リソースから概念識別子(ID)-ラベル関連を正しく再現する範囲について検討する。
  論文  参考訳（メタデータ） (2024-01-26T15:10:23Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。