論文の概要: Unified Regularity Measures for Sample-wise Learning and Generalization

• arxiv url: http://arxiv.org/abs/2108.03913v1
• Date: Mon, 9 Aug 2021 10:11:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:44:22.887695
• Title: Unified Regularity Measures for Sample-wise Learning and Generalization
• Title（参考訳）: サンプル学習と一般化のための統一正則性尺度
• Authors: Chi Zhang, Xiaoning Ma, Yu Liu, Le Wang, Yuanqi Su, Yuehu Liu
• Abstract要約: 本稿では,定式化整合表現を用いた2つのプロセスのサンプル正則度尺度を提案する。 ミニバッチSGD最適化のための提案手法の有効性とロバスト性を検証する実験を行った。
• 参考スコア（独自算出の注目度）: 18.10522585996242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fundamental machine learning theory shows that different samples contribute unequally both in learning and testing processes. Contemporary studies on DNN imply that such sample di?erence is rooted on the distribution of intrinsic pattern information, namely sample regularity. Motivated by the recent discovery on network memorization and generalization, we proposed a pair of sample regularity measures for both processes with a formulation-consistent representation. Specifically, cumulative binary training/generalizing loss (CBTL/CBGL), the cumulative number of correct classi?cations of the training/testing sample within training stage, is proposed to quantize the stability in memorization-generalization process; while forgetting/mal-generalizing events, i.e., the mis-classification of previously learned or generalized sample, are utilized to represent the uncertainty of sample regularity with respect to optimization dynamics. Experiments validated the effectiveness and robustness of the proposed approaches for mini-batch SGD optimization. Further applications on training/testing sample selection show the proposed measures sharing the uni?ed computing procedure could benefit for both tasks.
• Abstract（参考訳）: 基本的な機械学習理論は、異なるサンプルが学習プロセスとテストプロセスの両方で不均等に寄与していることを示している。 現代のDNN研究は、そのようなサンプルダイアネンスは本質的なパターン情報、すなわちサンプル規則性の分布に根ざしていることを示している。 ネットワークの記憶と一般化に関する最近の発見に触発されて,定式化に一貫性のある2つのプロセスのサンプル正則度尺度を提案した。 具体的には、トレーニング段階におけるトレーニング/テストサンプルの正しい分類の累積数である累積バイナリトレーニング/一般化損失(CBTL/CBGL)を記憶一般化過程の安定性を定量化するために提案する。 ミニバッチSGD最適化のための提案手法の有効性とロバスト性を検証する実験を行った。 トレーニング/テストサンプル選択のさらなる応用は、未処理の計算手順を共有する提案手法が両方のタスクに有効であることを示している。

関連論文リスト

• Adaptive Intra-Class Variation Contrastive Learning for Unsupervised Person Re-Identification [10.180143197144803]
  AdaInCVと呼ばれる教師なしRe-IDのための適応型クラス内変動コントラスト学習アルゴリズムを提案する。 このアルゴリズムは,クラスタリング後のクラス内変動を考慮し,各クラスのモデルの学習能力を定量的に評価する。 より具体的には、Adaptive Sample Mining (AdaSaM)とAdaptive Outlier Filter (AdaOF)の2つの新しい戦略が提案されている。
  論文  参考訳（メタデータ） (2024-04-06T15:48:14Z)
• Simple and effective data augmentation for compositional generalization [64.00420578048855]
  MRをサンプリングし,それらを逆翻訳するデータ拡張法は,合成一般化に有効であることを示す。 注目すべきは、一様分布からのサンプリングは、テスト分布からのサンプリングとほぼ同等に実行されることである。
  論文  参考訳（メタデータ） (2024-01-18T09:13:59Z)
• Learning Less Generalizable Patterns with an Asymmetrically Trained Double Classifier for Better Test-Time Adaptation [4.893694715581673]
  本稿では,一対の分類器とショートカットパターンによる回避損失を用いた新しい手法を提案する。 本手法は両ベンチマークの最先端結果を改善し,テスト時間バッチ正規化に最も有効である。
  論文  参考訳（メタデータ） (2022-10-17T08:05:38Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Optimal Importance Sampling for Federated Learning [57.14673504239551]
  フェデレートラーニングには、集中型と分散化された処理タスクが混在する。 エージェントとデータのサンプリングは概して一様であるが、本研究では一様でないサンプリングについて考察する。 エージェント選択とデータ選択の両方に最適な重要サンプリング戦略を導出し、置換のない一様サンプリングが元のFedAvgアルゴリズムの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-10-26T14:15:33Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。