論文の概要: Counterfactual Memorization in Neural Language Models

• arxiv url: http://arxiv.org/abs/2112.12938v1
• Date: Fri, 24 Dec 2021 04:20:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-28 13:57:50.413692
• Title: Counterfactual Memorization in Neural Language Models
• Title（参考訳）: ニューラルネットワークモデルにおける擬似記憶
• Authors: Chiyuan Zhang, Daphne Ippolito, Katherine Lee, Matthew Jagielski, Florian Tram\`er, Nicholas Carlini
• Abstract要約: 現代のニューラルネットワークモデルは、トレーニングデータから機密情報を記憶するNLPリスクのタスクで広く使用されている。 本稿では、心理学における人間の記憶の分類から着想を得た原則的視点を提供する。 標準テキストデータセットにおいて、反実的記憶型トレーニング例を特定し、研究する。
• 参考スコア（独自算出の注目度）: 33.94610649127156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern neural language models widely used in tasks across NLP risk memorizing sensitive information from their training data. As models continue to scale up in parameters, training data, and compute, understanding memorization in language models is both important from a learning-theoretical point of view, and is practically crucial in real world applications. An open question in previous studies of memorization in language models is how to filter out "common" memorization. In fact, most memorization criteria strongly correlate with the number of occurrences in the training set, capturing "common" memorization such as familiar phrases, public knowledge or templated texts. In this paper, we provide a principled perspective inspired by a taxonomy of human memory in Psychology. From this perspective, we formulate a notion of counterfactual memorization, which characterizes how a model's predictions change if a particular document is omitted during training. We identify and study counterfactually-memorized training examples in standard text datasets. We further estimate the influence of each training example on the validation set and on generated texts, and show that this can provide direct evidence of the source of memorization at test time.
• Abstract（参考訳）: 現代のニューラルネットワークモデルは、トレーニングデータから機密情報を記憶するNLPリスクのタスクで広く使用されている。 モデルがパラメータ、トレーニングデータ、計算でスケールアップを続けるにつれ、言語モデルの記憶力の理解はどちらも学習理論の観点から重要であり、現実のアプリケーションでは事実上不可欠である。 言語モデルにおける暗記に関する以前の研究における公然の疑問は、「一般的な」暗記をフィルターする方法である。 実際、ほとんどの記憶基準はトレーニングセットの出現回数と強く相関しており、慣れ親しんだフレーズや公的な知識、テンプレート化されたテキストなどの「一般的な」記憶を捉えている。 本稿では,心理学における人間の記憶の分類から着想を得た原則的視点を提供する。 この観点から、トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。 標準テキストデータセットにおける偽記憶されたトレーニング例を同定し,検討する。 さらに、各トレーニング例が検証セットと生成されたテキストに与える影響を推定し、これがテスト時の記憶源の直接的な証拠となることを示す。

関連論文リスト

• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• ROME: Memorization Insights from Text, Logits and Representation [17.458840481902644]
  本稿では、トレーニングデータの直接処理をバイパスするROMEという革新的な手法を提案する。 具体的には、コンテキスト非依存、従来型、事実の3つの異なるタイプに分類されるデータセットを選択します。 そこで本研究では,生成したテキストのロジットと表現を調べることで,記憶されたサンプルと記憶されていないサンプルの相違に着目した。
  論文  参考訳（メタデータ） (2024-03-01T13:15:30Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Quantifying and Analyzing Entity-level Memorization in Large Language Models [4.59914731734176]
  大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。 記憶から生じるプライバシーリスクが注目されている。 実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:06:47Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models [64.22311189896888]
  因果的および仮面的言語モデリング、モデルサイズ、およびトレーニングプロセス全体における正確な記憶について検討する。 驚くべきことに、大きなモデルは過度に適合する前にデータの大部分を記憶し、トレーニングプロセスを通して忘れる傾向にある。
  論文  参考訳（メタデータ） (2022-05-22T07:43:50Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。