論文の概要: Understanding Transformer Memorization Recall Through Idioms
- arxiv url: http://arxiv.org/abs/2210.03588v1
- Date: Fri, 7 Oct 2022 14:45:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 14:00:34.176466
- Title: Understanding Transformer Memorization Recall Through Idioms
- Title(参考訳): イディオムによる変圧器記憶リコールの理解
- Authors: Adi Haviv, Ido Cohen, Jacob Gidron, Roei Schuster, Yoav Goldberg and
Mor Geva
- Abstract要約: 言語モデルにおける記憶されたシーケンスのリコールを探索し,特徴付けるための,最初の方法論的フレームワークを提供する。
本研究では,モデル内の隠れ表現を,出力確率分布の段階的改善として解釈することにより,内部予測構築過程を解析する。
本研究は,メモリリコールの理解に向けての第一歩を踏み出し,トランスフォーマー記憶の今後の研究のための方法論的基盤を提供する。
- 参考スコア(独自算出の注目度): 42.28269674547148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To produce accurate predictions, language models (LMs) must balance between
generalization and memorization. Yet, little is known about the mechanism by
which transformer LMs employ their memorization capacity. When does a model
decide to output a memorized phrase, and how is this phrase then retrieved from
memory? In this work, we offer the first methodological framework for probing
and characterizing recall of memorized sequences in transformer LMs. First, we
lay out criteria for detecting model inputs that trigger memory recall, and
propose idioms as inputs that fulfill these criteria. Next, we construct a
dataset of English idioms and use it to compare model behavior on memorized vs.
non-memorized inputs. Specifically, we analyze the internal prediction
construction process by interpreting the model's hidden representations as a
gradual refinement of the output probability distribution. We find that across
different model sizes and architectures, memorized predictions are a two-step
process: early layers promote the predicted token to the top of the output
distribution, and upper layers increase model confidence. This suggests that
memorized information is stored and retrieved in the early layers of the
network. Last, we demonstrate the utility of our methodology beyond idioms in
memorized factual statements. Overall, our work makes a first step towards
understanding memory recall, and provides a methodological basis for future
studies of transformer memorization.
- Abstract(参考訳): 正確な予測を得るためには、言語モデル(LM)は一般化と記憶のバランスをとる必要がある。
しかし、変圧器LMが記憶能力を利用するメカニズムについてはほとんど分かっていない。
モデルが記憶されたフレーズをいつ出力するかを決め、そのフレーズはどのようにメモリから取得されるのか?
本研究では,トランスLMにおける記憶配列のリコールを探索し,特徴付けるための最初の方法論的枠組みを提案する。
まず、メモリリコールを引き起こすモデルインプットを検出する基準を設定し、これらの基準を満たすインプットとしてイディオムを提案する。
次に、英語の慣用句のデータセットを構築し、それを記憶された入力と記憶されていない入力のモデル挙動を比較する。
具体的には,モデルの隠れ表現を出力確率分布の段階的補正として解釈し,内部予測構築過程を分析する。
初期層は出力分布の上部に予測されたトークンを促進させ、上位層はモデルの信頼性を高める。
これは、記憶された情報はネットワークの初期層に保存され、検索されることを示唆している。
最後に,記憶された事実文のイディオムを超えた方法論の有用性を示す。
本研究は,メモリリコールの理解に向けた第一歩として,トランスフォーマー記憶の今後の研究のための方法論的基盤を提供する。
関連論文リスト
- Explaining How Transformers Use Context to Build Predictions [0.1749935196721634]
言語生成モデルは、以前の文脈に基づいて単語を生成する。
レイヤ全体にわたって、事前の言葉がモデルの判断にどのような影響を及ぼすかは、いまだに不明である。
本稿では,トランスフォーマーの説明可能性の最近の進歩を活用し,言語生成のためのモデル解析手法を提案する。
論文 参考訳(メタデータ) (2023-05-21T18:29:10Z) - Emergent and Predictable Memorization in Large Language Models [23.567027014457775]
メモリ化、あるいはトレーニングデータから全シーケンスを出力する大規模言語モデルの傾向は、安全に言語モデルをデプロイする上で重要な関心事である。
我々は,大規模モデルのフルトレインタイム前にどのシーケンスを記憶するかを,低速トライアルの実行時の記憶挙動を外挿することによって予測する。
モデルとデータ間のメモリ化スコアの分布に関する新たな発見を提供する。
論文 参考訳(メタデータ) (2023-04-21T17:58:31Z) - What does self-attention learn from Masked Language Modelling? [54.6265485082737]
自己注意はマスキング言語モデリング(MLM)によって訓練される
単語の位置と埋め込みの処理を分離すると、単一の自己注意層が一般化されたポッツモデルの条件を学習することを示す。
また、このニューラルネットワークのトレーニングは、いわゆる擬似様相法によって逆ポッツ問題を解くのと全く同じであることを示す。
論文 参考訳(メタデータ) (2023-04-14T16:32:56Z) - ResMem: Learn what you can and memorize the rest [79.19649788662511]
本稿では,既存の予測モデルを拡張するための残差記憶アルゴリズム(ResMem)を提案する。
構築によって、ResMemはトレーニングラベルを明示的に記憶することができる。
ResMemは、元の予測モデルのテストセットの一般化を一貫して改善することを示す。
論文 参考訳(メタデータ) (2023-02-03T07:12:55Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for
Perturbation-Robust Slot Filling [27.602336774468]
既存のスロットフィリングモデルの多くは、トレーニングデータからエンティティとそれに対応するコンテキストの固有のパターンを記憶する傾向がある。
本稿では,摂動-ロバストスロット充填モデルの訓練のための意味認識構造伝達法を提案する。
論文 参考訳(メタデータ) (2022-08-24T13:01:00Z) - Quantifying Memorization Across Neural Language Models [61.58529162310382]
大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。
これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。
本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
論文 参考訳(メタデータ) (2022-02-15T18:48:31Z) - Counterfactual Memorization in Neural Language Models [91.8747020391287]
様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。
言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。
トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
論文 参考訳(メタデータ) (2021-12-24T04:20:57Z) - Memory Transformer [0.31406146587437894]
トランスフォーマーベースのモデルは、多くの自然言語処理タスクにおいて最先端の結果を得た。
メモリ拡張ニューラルネットワーク(MANN)は、従来のニューラルネットワークを拡張し、汎用メモリで表現する。
我々は,これらのメモリ拡張トランスフォーマーを評価し,メモリの存在がモデル性能と正の相関関係があることを実証した。
論文 参考訳(メタデータ) (2020-06-20T09:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。