論文の概要: Generalisation First, Memorisation Second? Memorisation Localisation for Natural Language Classification Tasks
- arxiv url: http://arxiv.org/abs/2408.04965v1
- Date: Fri, 9 Aug 2024 09:30:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 16:07:28.622973
- Title: Generalisation First, Memorisation Second? Memorisation Localisation for Natural Language Classification Tasks
- Title（参考訳）: 一般化第一・記憶第二・記憶第二・記憶第二・記憶特化課題
- Authors: Verna Dankers, Ivan Titov,
- Abstract要約: 記憶は、現実世界のデータから学ぶ自然な部分です。
記憶は局所的なものではなく,段階的なプロセスであることを示す。
- 参考スコア（独自算出の注目度）: 33.1099258648462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memorisation is a natural part of learning from real-world data: neural models pick up on atypical input-output combinations and store those training examples in their parameter space. That this happens is well-known, but how and where are questions that remain largely unanswered. Given a multi-layered neural model, where does memorisation occur in the millions of parameters? Related work reports conflicting findings: a dominant hypothesis based on image classification is that lower layers learn generalisable features and that deeper layers specialise and memorise. Work from NLP suggests this does not apply to language models, but has been mainly focused on memorisation of facts. We expand the scope of the localisation question to 12 natural language classification tasks and apply 4 memorisation localisation techniques. Our results indicate that memorisation is a gradual process rather than a localised one, establish that memorisation is task-dependent, and give nuance to the generalisation first, memorisation second hypothesis.
- Abstract（参考訳）: ニューラルネットワークは非定型的なインプット・アウトプットの組み合わせを拾い上げ、それらのトレーニング例をパラメータ空間に格納する。
このことはよく知られていますが、どのように、どこで、ほとんど答えられていない疑問が残っています。
マルチレイヤのニューラルモデルを考えると、数百万のパラメータで暗記はどこで起こるのか?
画像分類に基づく支配的な仮説は、下位層は一般化可能な特徴を学習し、より深い層は専門的で記憶に残るというものである。
NLPの研究は、言語モデルには当てはまらないが、主に事実の記憶に焦点を当てていることを示唆している。
局所化問題の範囲を12の自然言語分類タスクに拡大し, 4つの記憶化ローカライゼーション手法を適用した。
その結果,暗記は局所的ではなく段階的なプロセスであり,暗記がタスク依存であることを証明し,一般化第一の暗記第二仮説にニュアンスを与えることが明らかとなった。
関連論文リスト
- Recite, Reconstruct, Recollect: Memorization in LMs as a Multifaceted Phenomenon [22.271015657198927]
我々は記憶を分類学に分解する:高度に複製された配列のリサイクリング、本質的に予測可能なシーケンスの再構築、そしてどちらもないシーケンスのリコール。
依存関係を解析し, 予測モデルの重みを検査することにより, 異なる要因が, 分類学的カテゴリーによって異なる記憶可能性に影響を与えることがわかった。
論文 参考訳（メタデータ） (2024-06-25T17:32:16Z) - Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。
覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。
本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文 参考訳（メタデータ） (2024-06-06T17:59:09Z) - Memorisation Cartography: Mapping out the Memorisation-Generalisation
Continuum in Neural Machine Translation [41.816534359921896]
我々は, 5M NMTデータポイントを記憶一般化マップ上に配置する資源を構築するために, 反事実記憶量を用いている。
また,NMTにおけるデータポイントの表面レベル特性とモデル毎のトレーニング信号の記憶の予測方法について述べる。
論文 参考訳（メタデータ） (2023-11-09T14:03:51Z) - SoK: Memorisation in machine learning [5.563171090433323]
個々のデータサンプルが機械学習モデルに与える影響を定量化することは、オープンな研究課題である。
本研究は,MLにおける暗記に関するこれまでの定義と視点を幅広く統合するものである。
モデル一般化との相互作用と,これらの現象がデータプライバシに与える影響について論じる。
論文 参考訳（メタデータ） (2023-11-06T12:59:18Z) - What do larger image classifiers memorise? [64.01325988398838]
トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。
有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
論文 参考訳（メタデータ） (2023-10-09T01:52:07Z) - Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism
of Language Models [49.39276272693035]
大規模事前学習型言語モデルは、顕著な記憶能力を示している。
プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。
1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
論文 参考訳（メタデータ） (2023-05-16T03:50:38Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳（メタデータ） (2022-10-17T20:15:24Z) - How Relevant is Selective Memory Population in Lifelong Language
Learning? [15.9310767099639]
最先端のアプローチは、忘れることを防ぐ主要なアプローチとしてスパース体験のリプレイに依存している。
本研究は,テキスト分類と質問応答タスクの生涯学習過程において,選択記憶人口がどの程度関係があるかを検討する。
論文 参考訳（メタデータ） (2022-10-03T13:52:54Z) - Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。
本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
論文 参考訳（メタデータ） (2022-04-07T17:34:01Z) - Counterfactual Memorization in Neural Language Models [91.8747020391287]
様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。
言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。
トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
論文 参考訳（メタデータ） (2021-12-24T04:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。