論文の概要: Memorization in deep learning: A survey
- arxiv url: http://arxiv.org/abs/2406.03880v1
- Date: Thu, 6 Jun 2024 09:17:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 15:39:42.165459
- Title: Memorization in deep learning: A survey
- Title（参考訳）: 深層学習における覚書化 : サーベイ
- Authors: Jiaheng Wei, Yanjun Zhang, Leo Yu Zhang, Ming Ding, Chao Chen, Kok-Leong Ong, Jun Zhang, Yang Xiang,
- Abstract要約: 近年の研究では、Deep Neural Networks(DNN)が一般的なパターンを学習するのではなく、例から特定の詳細を記憶する傾向にある興味深い現象が明らかになった。
これにより、DNNにおける一般化の性質と、セキュリティ侵害に対する感受性に関する批判的な疑問が提起される。
一般化とセキュリティ/プライバシドメインに基づく記憶定義を整理するための体系的枠組みを提案する。
- 参考スコア（独自算出の注目度）: 26.702878179026754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Learning (DL) powered by Deep Neural Networks (DNNs) has revolutionized various domains, yet understanding the intricacies of DNN decision-making and learning processes remains a significant challenge. Recent investigations have uncovered an interesting memorization phenomenon in which DNNs tend to memorize specific details from examples rather than learning general patterns, affecting model generalization, security, and privacy. This raises critical questions about the nature of generalization in DNNs and their susceptibility to security breaches. In this survey, we present a systematic framework to organize memorization definitions based on the generalization and security/privacy domains and summarize memorization evaluation methods at both the example and model levels. Through a comprehensive literature review, we explore DNN memorization behaviors and their impacts on security and privacy. We also introduce privacy vulnerabilities caused by memorization and the phenomenon of forgetting and explore its connection with memorization. Furthermore, we spotlight various applications leveraging memorization and forgetting mechanisms, including noisy label learning, privacy preservation, and model enhancement. This survey offers the first-in-kind understanding of memorization in DNNs, providing insights into its challenges and opportunities for enhancing AI development while addressing critical ethical concerns.
- Abstract（参考訳）: Deep Neural Networks(DNN)を利用したディープラーニング(DL)は、さまざまなドメインに革命をもたらしたが、DNNの意思決定と学習プロセスの複雑さを理解することは、依然として大きな課題である。
近年の研究では、DNNが一般的なパターンを学ぶよりも、例から特定の詳細を記憶する傾向にある興味深い記憶現象が発見されており、モデルの一般化、セキュリティ、プライバシに影響を及ぼしている。
これにより、DNNにおける一般化の性質と、セキュリティ侵害に対する感受性に関する批判的な疑問が提起される。
本稿では,一般化とセキュリティ/プライバシドメインに基づく記憶定義を整理するための体系的枠組みを提案し,その例とモデルレベルで記憶評価手法を要約する。
総合的な文献レビューを通じて、DNNの暗記行動とそのセキュリティとプライバシへの影響について考察する。
また,暗記によるプライバシーの脆弱性や,暗記との関係を忘れ,探究する現象も導入する。
さらに,ノイズラベル学習,プライバシ保護,モデル強化など,記憶と忘れのメカニズムを活用するさまざまなアプリケーションに注目する。
この調査は、DNNにおける暗記の第一線となる理解を提供し、批判的な倫理的懸念に対処しながら、AI開発を強化するための課題と機会についての洞察を提供する。
関連論文リスト
- In Praise of Stubbornness: The Case for Cognitive-Dissonance-Aware Knowledge Updates in LLMs [12.126745558519737]
大規模言語モデル(LLM)は、破滅的な忘れをすることなく、その知識を継続的に更新するのに苦労する。
人間は新しい情報を熱心に統合し、既存の信念との矛盾を検知し、精神モデルを選択的に更新する。
本稿では,LLMにおける継続的な知識更新を研究するための,認知にインスパイアされた調査パラダイムを提案する。
論文 参考訳（メタデータ） (2025-02-05T23:49:33Z) - Open Problems in Machine Unlearning for AI Safety [61.43515658834902]
特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。
本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
論文 参考訳（メタデータ） (2025-01-09T03:59:10Z) - Privacy in Fine-tuning Large Language Models: Attacks, Defenses, and Future Directions [11.338466798715906]
細調整された大規模言語モデル(LLM)は、様々な領域で最先端のパフォーマンスを達成することができる。
本稿では、微調整LDMに関連するプライバシー問題に関する包括的調査を行う。
メンバーシップ推論、データ抽出、バックドア攻撃など、さまざまなプライバシ攻撃に対する脆弱性を強調します。
論文 参考訳（メタデータ） (2024-12-21T06:41:29Z) - Model Inversion Attacks: A Survey of Approaches and Countermeasures [59.986922963781]
近年、新しいタイプのプライバシ攻撃であるモデル反転攻撃(MIA)は、トレーニングのためのプライベートデータの機密性を抽出することを目的としている。
この重要性にもかかわらず、総合的な概要とMIAに関する深い洞察を提供する体系的な研究が欠如している。
本調査は、攻撃と防御の両方において、最新のMIA手法を要約することを目的としている。
論文 参考訳（メタデータ） (2024-11-15T08:09:28Z) - Undesirable Memorization in Large Language Models: A Survey [5.659933808910005]
大規模言語モデル(LLM)における記憶の話題に関する知識体系化(SoK)を提案する。
記憶とは、モデルがトレーニングデータからフレーズやフレーズを保存し、再生する傾向があることである。
本研究は,記憶現象に寄与する要因の解析に続き,記憶現象を測定するために用いられる指標と方法について議論する。
論文 参考訳（メタデータ） (2024-10-03T16:34:46Z) - Adversarial Challenges in Network Intrusion Detection Systems: Research Insights and Future Prospects [0.33554367023486936]
本稿では,機械学習を用いたネットワーク侵入検知システム(NIDS)の総合的なレビューを行う。
NIDSにおける既存の研究を批判的に検討し、重要なトレンド、強み、限界を強調した。
我々は、この分野における新たな課題について議論し、より堅牢でレジリエントなNIDSの開発に向けた洞察を提供する。
論文 参考訳（メタデータ） (2024-09-27T13:27:29Z) - Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions [12.451936012379319]
大規模言語モデル(LLM)は、人工知能の大幅な進歩を表し、様々な領域にまたがる応用を見つける。
トレーニングのための大規模なインターネットソースデータセットへの依存は、注目すべきプライバシー問題を引き起こす。
特定のアプリケーション固有のシナリオでは、これらのモデルをプライベートデータで微調整する必要があります。
論文 参考訳（メタデータ） (2024-08-10T05:41:19Z) - Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文 参考訳（メタデータ） (2023-10-10T15:41:26Z) - A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning [58.107474025048866]
蓄積とは、以前に獲得した知識の喪失または劣化を指す。
フォッテッティングは、深層学習における様々な研究領域でよく見られる現象である。
論文 参考訳（メタデータ） (2023-07-16T16:27:58Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳（メタデータ） (2022-10-17T20:15:24Z) - Privacy and Robustness in Federated Learning: Attacks and Defenses [74.62641494122988]
このトピックに関する最初の包括的な調査を実施します。
FLの概念の簡潔な紹介と、1脅威モデル、2堅牢性に対する中毒攻撃と防御、3プライバシーに対する推論攻撃と防御、というユニークな分類学を通じて、私たちはこの重要なトピックのアクセス可能なレビューを提供します。
論文 参考訳（メタデータ） (2020-12-07T12:11:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。