論文の概要: Understanding Memorization from the Perspective of Optimization via Efficient Influence Estimation

• arxiv url: http://arxiv.org/abs/2112.08798v1
• Date: Thu, 16 Dec 2021 11:34:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 22:27:46.839607
• Title: Understanding Memorization from the Perspective of Optimization via Efficient Influence Estimation
• Title（参考訳）: 効率的な影響推定による最適化の観点からの記憶の理解
• Authors: Futong Liu, Tao Lin, Martin Jaggi
• Abstract要約: 本研究では,実データ(実データ)とランダムラベル(ランダムデータ)のデータに対する,ターンオーバードロップアウトによる暗記現象,影響と暗記を効率的に推定する手法について検討する。 i) 実データと乱データの両方において、簡単な例(例えば、実データ)と難しい例(例えば、乱データ)の最適化は、ネットワークによって同時に行われる。
• 参考スコア（独自算出の注目度）: 54.899751055620904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over-parameterized deep neural networks are able to achieve excellent training accuracy while maintaining a small generalization error. It has also been found that they are able to fit arbitrary labels, and this behaviour is referred to as the phenomenon of memorization. In this work, we study the phenomenon of memorization with turn-over dropout, an efficient method to estimate influence and memorization, for data with true labels (real data) and data with random labels (random data). Our main findings are: (i) For both real data and random data, the optimization of easy examples (e.g., real data) and difficult examples (e.g., random data) are conducted by the network simultaneously, with easy ones at a higher speed; (ii) For real data, a correct difficult example in the training dataset is more informative than an easy one. By showing the existence of memorization on random data and real data, we highlight the consistency between them regarding optimization and we emphasize the implication of memorization during optimization.
• Abstract（参考訳）: 過パラメータのディープニューラルネットワークは、小さな一般化エラーを維持しながら、優れたトレーニング精度を達成できる。 また、任意のラベルに収まることも確認されており、この挙動を記憶現象と呼ぶ。 本研究では,真のラベル(実データ)とランダムラベル(ランダムデータ)のデータに対する影響と記憶の効率的な推定手法であるturn-over dropoutを用いた記憶記憶現象について検討する。 私たちの主な発見は (i)実データと無作為データの両方について、簡単な例(実データ等)と難しい例(ランダムデータ等)の最適化をネットワークによって同時に行い、より高速で簡単な例とすることにより行う。 (ii)実データの場合、トレーニングデータセットの正しい難しい例は、簡単なデータよりも有益である。 ランダムデータと実データに暗記が存在することを示すことにより、最適化に関する一貫性を強調し、最適化中の暗記の影響を強調する。

関連論文リスト

• Stochastic Amortization: A Unified Approach to Accelerate Feature and Data Attribution [62.71425232332837]
  雑音ラベル付きモデルを用いたトレーニングは安価で驚くほど効果的であることを示す。 このアプローチは、いくつかの特徴属性とデータ評価手法を著しく加速し、しばしば既存のアプローチよりも桁違いにスピードアップする。
  論文  参考訳（メタデータ） (2024-01-29T03:42:37Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• MILD: Modeling the Instance Learning Dynamics for Learning with Noisy Labels [19.650299232829546]
  クリーンなデータを特定するために,Weibull混合モデルに基づく反復的選択手法を提案する。 特に、誤分類と暗記の間の遷移時間を通じて、各インスタンスの暗記の難しさを測定し、暗記する。 我々の戦略は既存の雑音ラベル学習方法より優れている。
  論文  参考訳（メタデータ） (2023-06-20T14:26:53Z)
• Leveraging Unlabeled Data to Track Memorization [15.4909376515404]
  本稿では,ニューラルネットワークの記憶度を計測する指標であるサセプティビリティー(Susceptibility)を提案する。 様々なアーキテクチャやデータセット上での記憶の追跡におけるメトリックの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2022-12-08T18:36:41Z)
• Online Missing Value Imputation and Change Point Detection with the Gaussian Copula [21.26330349034669]
  実世界のデータサイエンスにとって、値計算の欠如は不可欠である。 ガウスコプラを用いた混合データに対するオンライン計算アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-25T16:27:47Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。