Fugu-MT 論文翻訳(概要): Memorization in deep learning: A survey

論文の概要: Memorization in deep learning: A survey

arxiv url: http://arxiv.org/abs/2406.03880v1
Date: Thu, 6 Jun 2024 09:17:40 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 15:39:42.165459
Title: Memorization in deep learning: A survey
Title（参考訳）: 深層学習における覚書化 : サーベイ
Authors: Jiaheng Wei, Yanjun Zhang, Leo Yu Zhang, Ming Ding, Chao Chen, Kok-Leong Ong, Jun Zhang, Yang Xiang,
Abstract要約: 近年の研究では、Deep Neural Networks(DNN)が一般的なパターンを学習するのではなく、例から特定の詳細を記憶する傾向にある興味深い現象が明らかになった。これにより、DNNにおける一般化の性質と、セキュリティ侵害に対する感受性に関する批判的な疑問が提起される。一般化とセキュリティ/プライバシドメインに基づく記憶定義を整理するための体系的枠組みを提案する。
参考スコア（独自算出の注目度）: 26.702878179026754
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep Learning (DL) powered by Deep Neural Networks (DNNs) has revolutionized various domains, yet understanding the intricacies of DNN decision-making and learning processes remains a significant challenge. Recent investigations have uncovered an interesting memorization phenomenon in which DNNs tend to memorize specific details from examples rather than learning general patterns, affecting model generalization, security, and privacy. This raises critical questions about the nature of generalization in DNNs and their susceptibility to security breaches. In this survey, we present a systematic framework to organize memorization definitions based on the generalization and security/privacy domains and summarize memorization evaluation methods at both the example and model levels. Through a comprehensive literature review, we explore DNN memorization behaviors and their impacts on security and privacy. We also introduce privacy vulnerabilities caused by memorization and the phenomenon of forgetting and explore its connection with memorization. Furthermore, we spotlight various applications leveraging memorization and forgetting mechanisms, including noisy label learning, privacy preservation, and model enhancement. This survey offers the first-in-kind understanding of memorization in DNNs, providing insights into its challenges and opportunities for enhancing AI development while addressing critical ethical concerns.
Abstract（参考訳）: Deep Neural Networks(DNN)を利用したディープラーニング(DL)は、さまざまなドメインに革命をもたらしたが、DNNの意思決定と学習プロセスの複雑さを理解することは、依然として大きな課題である。近年の研究では、DNNが一般的なパターンを学ぶよりも、例から特定の詳細を記憶する傾向にある興味深い記憶現象が発見されており、モデルの一般化、セキュリティ、プライバシに影響を及ぼしている。これにより、DNNにおける一般化の性質と、セキュリティ侵害に対する感受性に関する批判的な疑問が提起される。本稿では,一般化とセキュリティ/プライバシドメインに基づく記憶定義を整理するための体系的枠組みを提案し,その例とモデルレベルで記憶評価手法を要約する。総合的な文献レビューを通じて、DNNの暗記行動とそのセキュリティとプライバシへの影響について考察する。また,暗記によるプライバシーの脆弱性や,暗記との関係を忘れ,探究する現象も導入する。さらに,ノイズラベル学習,プライバシ保護,モデル強化など,記憶と忘れのメカニズムを活用するさまざまなアプリケーションに注目する。この調査は、DNNにおける暗記の第一線となる理解を提供し、批判的な倫理的懸念に対処しながら、AI開発を強化するための課題と機会についての洞察を提供する。

関連論文リスト

Undesirable Memorization in Large Language Models: A Survey [5.659933808910005]
大規模言語モデル(LLM)における記憶の話題に関する知識体系化(SoK)を提案する。記憶とは、モデルがトレーニングデータからフレーズやフレーズを保存し、再生する傾向があることである。本研究は,記憶現象に寄与する要因の解析に続き,記憶現象を測定するために用いられる指標と方法について議論する。
論文参考訳（メタデータ） (2024-10-03T16:34:46Z)
Adversarial Challenges in Network Intrusion Detection Systems: Research Insights and Future Prospects [0.33554367023486936]
本稿では,機械学習を用いたネットワーク侵入検知システム(NIDS)の総合的なレビューを行う。 NIDSにおける既存の研究を批判的に検討し、重要なトレンド、強み、限界を強調した。我々は、この分野における新たな課題について議論し、より堅牢でレジリエントなNIDSの開発に向けた洞察を提供する。
論文参考訳（メタデータ） (2024-09-27T13:27:29Z)
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions [12.451936012379319]
大規模言語モデル(LLM)は、人工知能の大幅な進歩を表し、様々な領域にまたがる応用を見つける。トレーニングのための大規模なインターネットソースデータセットへの依存は、注目すべきプライバシー問題を引き起こす。特定のアプリケーション固有のシナリオでは、これらのモデルをプライベートデータで微調整する必要があります。
論文参考訳（メタデータ） (2024-08-10T05:41:19Z)
A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文参考訳（メタデータ） (2024-01-02T16:54:58Z)
Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文参考訳（メタデータ） (2023-10-10T15:41:26Z)
A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning [76.47138162283714]
蓄積とは、以前取得した情報や知識の喪失または劣化を指す。フォッテッティングは、深層学習における様々な研究領域でよく見られる現象である。調査では、忘れることは二重刃の剣であり、ある場合には有益で望ましいと論じている。
論文参考訳（メタデータ） (2023-07-16T16:27:58Z)
New Challenges in Reinforcement Learning: A Survey of Security and Privacy [26.706957408693363]
強化学習(Reinforcement Learning, RL)は、AIの最も重要な分野のひとつ。 RLは医療、データ市場、自動運転、ロボット工学など、さまざまな分野で広く採用されている。これらのアプリケーションやシステムは、セキュリティやプライバシ攻撃に弱いことが示されている。
論文参考訳（メタデータ） (2022-12-31T12:30:43Z)
Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。重要なことは、情報組織が記憶の2つの形態を指していることである。
論文参考訳（メタデータ） (2022-10-17T20:15:24Z)
Reinforcement Learning on Encrypted Data [58.39270571778521]
本稿では,DQNエージェントが,離散的かつ連続的な状態空間を持つ環境でどのように動作するかを予備的,実験的に検討する。その結果,非決定論的暗号が存在する場合でも,エージェントは依然として小さな状態空間で学習することができるが,より複雑な環境では性能が低下することがわかった。
論文参考訳（メタデータ） (2021-09-16T21:59:37Z)
Privacy and Robustness in Federated Learning: Attacks and Defenses [74.62641494122988]
このトピックに関する最初の包括的な調査を実施します。 FLの概念の簡潔な紹介と、1脅威モデル、2堅牢性に対する中毒攻撃と防御、3プライバシーに対する推論攻撃と防御、というユニークな分類学を通じて、私たちはこの重要なトピックのアクセス可能なレビューを提供します。
論文参考訳（メタデータ） (2020-12-07T12:11:45Z)
Privacy in Deep Learning: A Survey [16.278779275923448]
多くの分野でのディープラーニングの継続的な進歩は、プロダクションシステムにDeep Neural Networks(DNN)の採用につながっている。大規模なデータセットと高い計算能力がこれらの進歩の主な貢献者である。このデータはさまざまな脆弱性によって誤用または漏洩される可能性があるため、プライバシー上の深刻な懸念が生じる。
論文参考訳（メタデータ） (2020-04-25T23:47:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。