論文の概要: An Empirical Study of Memorization in NLP

• arxiv url: http://arxiv.org/abs/2203.12171v1
• Date: Wed, 23 Mar 2022 03:27:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 07:51:29.890390
• Title: An Empirical Study of Memorization in NLP
• Title（参考訳）: NLPにおける記憶の実証的研究
• Authors: Xiaosen Zheng and Jing Jiang
• Abstract要約: 3つの異なるNLPタスクを使用して、ロングテール理論が成立するかどうかをチェックする。 実験により、トップランクの記憶されたトレーニングインスタンスはおそらく非典型的であることが示された。 トレーニングインスタンスを記憶する理由をよりよく理解するための属性手法を開発した。
• 参考スコア（独自算出の注目度）: 8.293936347234126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A recent study by Feldman (2020) proposed a long-tail theory to explain the memorization behavior of deep learning models. However, memorization has not been empirically verified in the context of NLP, a gap addressed by this work. In this paper, we use three different NLP tasks to check if the long-tail theory holds. Our experiments demonstrate that top-ranked memorized training instances are likely atypical, and removing the top-memorized training instances leads to a more serious drop in test accuracy compared with removing training instances randomly. Furthermore, we develop an attribution method to better understand why a training instance is memorized. We empirically show that our memorization attribution method is faithful, and share our interesting finding that the top-memorized parts of a training instance tend to be features negatively correlated with the class label.
• Abstract（参考訳）: Feldman (2020) による最近の研究は、ディープラーニングモデルの記憶挙動を説明するための長い尾の理論を提案した。 しかし、この研究で解決されたギャップであるNLPの文脈では記憶が実証的に検証されていない。 本稿では,3つの異なるNLPタスクを用いて,ロングテール理論が成立するかどうかを確認する。 実験の結果,上位記憶型トレーニングインスタンスは非典型的であり,上位記憶型トレーニングインスタンスを削除すると,ランダムにトレーニングインスタンスを削除するよりもテスト精度が大幅に低下することがわかった。 さらに、トレーニングインスタンスを記憶する理由をよりよく理解するための属性手法を開発した。 記憶属性法が忠実であることを実証的に示し、トレーニングインスタンスの上位記憶部がクラスラベルと負の相関を持つ傾向があるという興味深い発見を共有した。

関連論文リスト

• Predicting and analyzing memorization within fine-tuned Large Language Models [0.0]
  大規模言語モデルはトレーニングデータのかなりの割合を記憶しており、推論時に開示されると深刻な脅威となる。 そこで本稿では, 記憶されたサンプルを事前検出するための, スライスされた相互情報に基づく新しい手法を提案する。 我々は,暗記前に,これらの脆弱なサンプルの系統的な検査と保護を行うための方法を編み出した,強い経験的結果を得た。
  論文  参考訳（メタデータ） (2024-09-27T15:53:55Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)
• Exploring Memorization in Adversarial Training [58.38336773082818]
  本稿では, 能力, 収束, 一般化, 特に強靭なオーバーフィッティングの深い理解を促進するための, 対人訓練(AT)における記憶効果について検討する。 本稿では,詳細な記憶分析を動機とした新たな緩和アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-03T05:39:57Z)
• Memory-Associated Differential Learning [10.332918082271153]
  メモリ関連微分学習(MAD)と呼ばれる新しい学習パラダイムを提案する。 まず,すべてのトレーニングデータを記憶するためにメモリと呼ばれる追加コンポーネントを導入する。次に,差分方程式といくつかのサンプリング手法の組み合わせによる特徴の関連性だけでなく,ラベルの違いも学習する。 評価フェーズでは,記憶された事実と学習した相違点および関連点を幾何学的に意味のある方法で参照することにより,未知のラベルを予測する。
  論文  参考訳（メタデータ） (2021-02-10T03:48:12Z)
• What Neural Networks Memorize and Why: Discovering the Long Tail via Influence Estimation [37.5845376458136]
  ディープラーニングアルゴリズムは、トレーニングデータの適合性が非常によく知られている。 このようなフィッティングには、トレーニングデータラベルの記憶が必要である。 本稿では,この現象の理論的説明を2つの知見の組み合わせに基づいて提案する。
  論文  参考訳（メタデータ） (2020-08-09T10:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。