論文の概要: Data Pruning via Moving-one-Sample-out

• arxiv url: http://arxiv.org/abs/2310.14664v2
• Date: Wed, 25 Oct 2023 06:19:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 11:03:46.778961
• Title: Data Pruning via Moving-one-Sample-out
• Title（参考訳）: move-one-sample-out によるデータプルーニング
• Authors: Haoru Tan, Sitong Wu, Fei Du, Yukang Chen, Zhibin Wang, Fan Wang, Xiaojuan Qi
• Abstract要約: 我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。 MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。 実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
• 参考スコア（独自算出の注目度）: 61.45441981346064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a novel data-pruning approach called moving-one-sample-out (MoSo), which aims to identify and remove the least informative samples from the training set. The core insight behind MoSo is to determine the importance of each sample by assessing its impact on the optimal empirical risk. This is achieved by measuring the extent to which the empirical risk changes when a particular sample is excluded from the training set. Instead of using the computationally expensive leaving-one-out-retraining procedure, we propose an efficient first-order approximator that only requires gradient information from different training stages. The key idea behind our approximation is that samples with gradients that are consistently aligned with the average gradient of the training set are more informative and should receive higher scores, which could be intuitively understood as follows: if the gradient from a specific sample is consistent with the average gradient vector, it implies that optimizing the network using the sample will yield a similar effect on all remaining samples. Experimental results demonstrate that MoSo effectively mitigates severe performance degradation at high pruning ratios and achieves satisfactory performance across various settings.
• Abstract（参考訳）: 本稿では、トレーニングセットから最も情報に乏しいサンプルを識別・削除することを目的とした、移動単サンプルアウト(MoSo)と呼ばれる新しいデータ抽出手法を提案する。 MoSoの背後にある中核的な洞察は、最適な経験的リスクに対する影響を評価することで、各サンプルの重要性を決定することである。 これは、特定のサンプルがトレーニングセットから除外された場合に経験的リスクが変動する程度を測定することで達成される。 計算コストのかかる1次調整手順の代わりに、異なる訓練段階からの勾配情報のみを必要とする効率的な1次近似器を提案する。 我々の近似の背景にある重要な考え方は、トレーニングセットの平均勾配に一貫した勾配を持つサンプルは、より情報的であり、より高いスコアを受け取るべきであるということであり、これは直感的に理解できる。 実験の結果,mosoは高い刈り込み率で性能劣化を効果的に軽減し,様々な設定で良好な性能が得られることがわかった。

関連論文リスト

• Dataset Quantization with Active Learning based Adaptive Sampling [11.157462442942775]
  また, 不均一なサンプル分布であっても, 性能維持が可能であることを示す。 サンプル選択を最適化するために,新しい能動的学習に基づく適応型サンプリング手法を提案する。 提案手法は,最先端のデータセット圧縮手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-09T23:09:18Z)
• Importance Sampling for Stochastic Gradient Descent in Deep Neural Networks [0.0]
  ディープニューラルネットワークのトレーニングのための重要サンプリングが広く研究されている。 本稿では,本研究領域に固有の課題について概説する。 本稿では,所定のサンプリング方式の品質を評価するための指標を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:35:11Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution Samples [19.311470287767385]
  そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。 提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2022-06-08T18:59:21Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Reweighting Augmented Samples by Minimizing the Maximal Expected Loss [51.2791895511333]
  我々は,拡張標本の任意の重み付け損失に対する上限となる最大期待損失を構成する。 敵の訓練に触発されて、この最大期待損失を最小化し、単純で解釈可能なクローズドフォームソリューションを得る。 提案手法は, 一般に任意のデータ拡張法上に適用可能である。
  論文  参考訳（メタデータ） (2021-03-16T09:31:04Z)
• Optimal Importance Sampling for Federated Learning [57.14673504239551]
  フェデレートラーニングには、集中型と分散化された処理タスクが混在する。 エージェントとデータのサンプリングは概して一様であるが、本研究では一様でないサンプリングについて考察する。 エージェント選択とデータ選択の両方に最適な重要サンプリング戦略を導出し、置換のない一様サンプリングが元のFedAvgアルゴリズムの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-10-26T14:15:33Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。