論文の概要: No Regret Sample Selection with Noisy Labels

• arxiv url: http://arxiv.org/abs/2003.03179v5
• Date: Sun, 4 Apr 2021 15:12:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 00:44:24.218438
• Title: No Regret Sample Selection with Noisy Labels
• Title（参考訳）: No Regret Sample Selection with Noisy Labels (英語)
• Authors: H. Song, N. Mitsuo, S. Uchida, D. Suehiro
• Abstract要約: 複数の雑音ラベル付きデータセットに対する実験結果から,サンプル選択戦略がDNNトレーニングに有効であることが示された。 提案手法は, 計算コストを著しく低減しつつ, 最先端手法のベストあるいは2番目に高い性能を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) suffer from noisy-labeled data because of the risk of overfitting. To avoid the risk, in this paper, we propose a novel DNN training method with sample selection based on adaptive k-set selection, which selects k (< n) clean sample candidates from the whole n noisy training samples at each epoch. It has a strong advantage of guaranteeing the performance of the selection theoretically. Roughly speaking, a regret, which is defined by the difference between the actual selection and the best selection, of the proposed method is theoretically bounded, even though the best selection is unknown until the end of all epochs. The experimental results on multiple noisy-labeled datasets demonstrate that our sample selection strategy works effectively in the DNN training; in fact, the proposed method achieved the best or the second-best performance among state-of-the-art methods, while requiring a significantly lower computational cost. The code is available at https://github.com/songheony/TAkS.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、過度に適合するリスクがあるため、ノイズの多いラベル付きデータに悩まされる。 このリスクを回避するため, 適応k-set選択に基づくサンプル選択を用いた新しいDNNトレーニング手法を提案し, 各エポックにおけるn個のノイズのあるトレーニングサンプルからk (<n) クリーンサンプル候補を選択する。 理論的に選択のパフォーマンスを保証するという強力な利点がある。 大まかに言えば、提案手法の実際の選択と最良の選択の差によって定義される後悔は、すべてのエポックの終わりまで最良の選択が未知であっても理論的に有界である。 複数の雑音ラベル付きデータセットに対する実験結果から,サンプル選択戦略がDNNトレーニングにおいて効果的に機能することが確認された。 コードはhttps://github.com/songheony/taksで入手できる。

関連論文リスト

• BOND: Aligning LLMs with Best-of-N Distillation [63.254031574394965]
  BOND(Best-of-N Distillation)は,Best-of-Nをエミュレートする新しいRLHFアルゴリズムである。 具体的には、BONDは、ポリシーから世代分布をBest-of-N分布に近づけるように強制する分布マッチングアルゴリズムである。 本稿では,抽象的な要約モデルとGemmaモデルの実験を通じて,提案手法の有効性といくつかの設計選択を実証する。
  論文  参考訳（メタデータ） (2024-07-19T18:38:25Z)
• BWS: Best Window Selection Based on Sample Scores for Data Pruning across Broad Ranges [12.248397169100784]
  データサブセットの選択は、フルデータセットのトレーニングを近似できる大規模なデータセットの、小さくても情報に富むサブセットを見つけることを目的としている。 難易度スコアに基づいて順序付けされたサンプルから最適なウィンドウサブセットを選択する方法を提案することにより、普遍的で効率的なデータサブセット選択法であるBest Window Selection(BWS)を導入する。
  論文  参考訳（メタデータ） (2024-06-05T08:33:09Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
  雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。 Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。 さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
  論文  参考訳（メタデータ） (2023-01-02T07:13:28Z)
• UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning [89.56465237941013]
  UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。 90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
  論文  参考訳（メタデータ） (2022-03-28T07:36:36Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Consistent Relative Confidence and Label-Free Model Selection for Convolutional Neural Networks [4.497097230665825]
  本稿では,ラベルなしデータのみを用いたCNNモデル選択手法を提案する。 提案手法の有効性と有効性は,データセットMNISTとFasionMNISTに基づく広範囲な実験により実証された。
  論文  参考訳（メタデータ） (2021-08-26T15:14:38Z)
• Adaptive Sample Selection for Robust Learning under Label Noise [1.71982924656402]
  ディープニューラルネットワーク(DNN)は、ノイズの多いラベル付きデータの存在下で記憶や過度な適合の影響を受けることが示されている。 著名なアルゴリズムのクラスは、カリキュラム学習に動機づけられたサンプル選択戦略に依存している。 本稿では,バッチ統計のみに依存するデータ依存型適応型サンプル選択手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。