論文の概要: BWS: Best Window Selection Based on Sample Scores for Data Pruning across Broad Ranges

• arxiv url: http://arxiv.org/abs/2406.03057v1
• Date: Wed, 5 Jun 2024 08:33:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:19:28.722482
• Title: BWS: Best Window Selection Based on Sample Scores for Data Pruning across Broad Ranges
• Title（参考訳）: BWS:広帯域データ抽出のためのサンプルスコアに基づくベストウィンドウ選択
• Authors: Hoyong Choi, Nohyun Ki, Hye Won Chung,
• Abstract要約: データサブセットの選択は、フルデータセットのトレーニングを近似できる大規模なデータセットの、小さくても情報に富むサブセットを見つけることを目的としている。 難易度スコアに基づいて順序付けされたサンプルから最適なウィンドウサブセットを選択する方法を提案することにより、普遍的で効率的なデータサブセット選択法であるBest Window Selection(BWS)を導入する。
• 参考スコア（独自算出の注目度）: 12.248397169100784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data subset selection aims to find a smaller yet informative subset of a large dataset that can approximate the full-dataset training, addressing challenges associated with training neural networks on large-scale datasets. However, existing methods tend to specialize in either high or low selection ratio regimes, lacking a universal approach that consistently achieves competitive performance across a broad range of selection ratios. We introduce a universal and efficient data subset selection method, Best Window Selection (BWS), by proposing a method to choose the best window subset from samples ordered based on their difficulty scores. This approach offers flexibility by allowing the choice of window intervals that span from easy to difficult samples. Furthermore, we provide an efficient mechanism for selecting the best window subset by evaluating its quality using kernel ridge regression. Our experimental results demonstrate the superior performance of BWS compared to other baselines across a broad range of selection ratios over datasets, including CIFAR-10/100 and ImageNet, and the scenarios involving training from random initialization or fine-tuning of pre-trained models.
• Abstract（参考訳）: データサブセットの選択は、大規模なデータセットでニューラルネットワークをトレーニングする際の課題に対処し、フルデータセットのトレーニングを近似できる、より小さく、情報に富む大規模なデータセットのサブセットを見つけることを目的としている。 しかし、既存の手法は高い選択比と低い選択比のどちらかに特化する傾向にあり、幅広い選択比の競争性能を一貫して達成する普遍的なアプローチが欠如している。 難易度スコアに基づいて順序付けされたサンプルから最適なウィンドウサブセットを選択する方法を提案することにより、普遍的で効率的なデータサブセット選択法であるBest Window Selection(BWS)を導入する。 このアプローチは、簡単なサンプルから難しいサンプルまで、ウィンドウ間隔の選択を可能にすることで、柔軟性を提供します。 さらに、カーネルリッジ回帰を用いて、その品質を評価することにより、最適なウィンドウサブセットを選択するための効率的なメカニズムを提供する。 実験の結果,CIFAR-10/100 や ImageNet など,データセット選択率の広い範囲において,BWS が他のベースラインと比較して優れた性能を示した。

関連論文リスト

• Data curation via joint example selection further accelerates multimodal learning [3.329535792151987]
  サンプルを個別に選択するよりも,データのバッチを共同で選択することが学習に有効であることを示す。 このようなバッチを選択するための単純かつトラクタブルなアルゴリズムを導出し、個別に優先順位付けされたデータポイントを超えてトレーニングを著しく加速する。
  論文  参考訳（メタデータ） (2024-06-25T16:52:37Z)
• Take the essence and discard the dross: A Rethinking on Data Selection for Fine-Tuning Large Language Models [38.39395973523944]
  本稿では,データ選択のための3段階のスキームを提案し,既存の作品のレビューを行う。 データ特化ラベルとモデル特化ラベルを併用したよりターゲット的な手法の方が効率が良いことが判明した。
  論文  参考訳（メタデータ） (2024-06-20T08:58:58Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios [79.02009938011447]
  本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。 実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
  論文  参考訳（メタデータ） (2022-07-04T04:11:44Z)
• Optimal Data Selection: An Online Distributed View [61.31708750038692]
  この問題のオンライン版と分散版のアルゴリズムを開発する。 ランダム選択法は, ランダム選択法よりも5～20%高い性能を示した。 ImageNet と MNIST の学習タスクにおいて、我々の選択方法はランダム選択よりも5-20% 高い性能を示した。
  論文  参考訳（メタデータ） (2022-01-25T18:56:16Z)
• SelectAugment: Hierarchical Deterministic Sample Selection for Data Augmentation [72.58308581812149]
  そこで我々は,SelectAugmentと呼ばれる効果的な手法を提案し,決定論的かつオンラインに拡張するサンプルを選択する。 具体的には、各バッチにおいて、まず増分比率を決定し、次にこの比で各トレーニングサンプルを増分するかを決定する。 これにより、サンプルを増量する際のランダム性による負の効果を効果的に軽減し、DAの有効性を向上させることができる。
  論文  参考訳（メタデータ） (2021-12-06T08:38:38Z)
• No Regret Sample Selection with Noisy Labels [0.0]
  複数の雑音ラベル付きデータセットに対する実験結果から,サンプル選択戦略がDNNトレーニングに有効であることが示された。 提案手法は, 計算コストを著しく低減しつつ, 最先端手法のベストあるいは2番目に高い性能を実現する。
  論文  参考訳（メタデータ） (2020-03-06T13:17:35Z)
• Outlier Detection Ensemble with Embedded Feature Selection [42.8338013000469]
  組込み特徴選択(ODEFS)を用いた外乱検出アンサンブルフレームワークを提案する。 各ランダムなサブサンプリングベースの学習コンポーネントに対して、ODEFSは、特徴選択と外れ値検出をペアのランキング式に統一する。 我々は、特徴選択と例選択を同時に最適化するために閾値付き自己評価学習を採用する。
  論文  参考訳（メタデータ） (2020-01-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。