Fugu-MT 論文翻訳(概要): PreCog: Exploring the Relation between Memorization and Performance in Pre-trained Language Models

論文の概要: PreCog: Exploring the Relation between Memorization and Performance in Pre-trained Language Models

arxiv url: http://arxiv.org/abs/2305.04673v2
Date: Tue, 9 May 2023 05:37:53 GMT
ステータス: 処理完了
システム内更新日: 2023-05-10 15:01:43.589384
Title: PreCog: Exploring the Relation between Memorization and Performance in Pre-trained Language Models
Title（参考訳）: PreCog: トレーニング済み言語モデルにおける記憶とパフォーマンスの関係を探る
Authors: Leonardo Ranaldi, Elena Sofia Ruzzetti and Fabio Massimo Zanzotto
Abstract要約: 本稿では,下流タスクにおけるBERTの記憶と性能の相互作用の解析に寄与する。実験の結果,高度に記憶された例はより分類されやすく,記憶がBERTの成功の鍵となることが示唆された。
参考スコア（独自算出の注目度）: 0.17188280334580194
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pre-trained Language Models such as BERT are impressive machines with the ability to memorize, possibly generalized learning examples. We present here a small, focused contribution to the analysis of the interplay between memorization and performance of BERT in downstream tasks. We propose PreCog, a measure for evaluating memorization from pre-training, and we analyze its correlation with the BERT's performance. Our experiments show that highly memorized examples are better classified, suggesting memorization is an essential key to success for BERT.
Abstract（参考訳）: BERTのような事前訓練された言語モデルは、おそらく一般的な学習例を記憶する能力を持つ印象的なマシンである。ここでは,下流タスクにおけるbertの記憶と性能の相互作用の分析に少なからず焦点を絞った貢献を述べる。事前学習から記憶を評価するための指標であるPreCogを提案し,その相関関係をBERTの性能と解析する。実験の結果,高度に記憶された例はより分類されやすく,記憶がBERTの成功の鍵となることが示唆された。

関連論文リスト

Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
論文参考訳（メタデータ） (2024-07-20T21:24:40Z)
DACBERT: Leveraging Dependency Agreement for Cost-Efficient Bert Pretraining [12.858559527280487]
本稿では,新たな事前学習モデル Dependency Agreement Crammed BERT (DACBERT) とその2段階事前学習フレームワーク Dependency Agreement Pretrainingを紹介する。このフレームワークは、構文と意味情報を事前学習プロセスにシームレスに織り込む。提案手法は,GLUEの平均スコアを0.83%向上させ,その有意な可能性を裏付けるものである。
論文参考訳（メタデータ） (2023-11-08T16:18:32Z)
Unintended Memorization in Large ASR Models, and How to Mitigate It [16.047859326721046]
大規模非回帰型自動音声認識(ASR)モデルにおける記憶の監査は困難である。計算オーバーヘッドを余分に必要とせずに,大規模ASRモデルの記憶量を測定するための簡易な監査手法を設計する。大規模分散トレーニングでは、各計算コアの平均勾配をクリップすることで、中立的なモデル品質と計算コストが維持されることを示す。
論文参考訳（メタデータ） (2023-10-18T06:45:49Z)
Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文参考訳（メタデータ） (2023-10-10T15:41:26Z)
A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文参考訳（メタデータ） (2022-10-10T08:27:28Z)
Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning [109.7767515627765]
本稿では,関係抽出のための新たな半パラメトリックなプロンプトチューニング手法を提案する。我々のモデルは、トレーニング中に重みに格納された知識を通して関係を推測する。本手法は,標準的な教師付き設定と少数ショット設定の両方で最先端を実現することができる。
論文参考訳（メタデータ） (2022-05-04T23:38:37Z)
Counterfactual Memorization in Neural Language Models [91.8747020391287]
様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
論文参考訳（メタデータ） (2021-12-24T04:20:57Z)
GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight Gated Injection Method [29.352569563032056]
本稿では,言語知識を単語埋め込みの形で,事前学習したBERTに明示的に注入する手法を提案する。依存性ベースと逆適合の埋め込みを注入する場合、複数のセマンティックな類似性データセットのパフォーマンス改善は、そのような情報が有益であり、現在元のモデルから欠落していることを示している。
論文参考訳（メタデータ） (2020-10-23T17:00:26Z)
DagoBERT: Generating Derivational Morphology with a Pretrained Language Model [20.81930455526026]
事前学習された言語モデル(PLM)は、派生的に複雑な単語を生成することができることを示す。私たちの最高のモデルであるDagoBERTは、導出生成における過去の技術状況よりも明らかに優れています。実験の結果,入力セグメンテーションがBERTの導出知識に重大な影響を及ぼすことが示された。
論文参考訳（メタデータ） (2020-05-02T01:26:46Z)
Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting [66.45372974713189]
本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
論文参考訳（メタデータ） (2020-04-27T08:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。