論文の概要: DeepCore: A Comprehensive Library for Coreset Selection in Deep Learning

• arxiv url: http://arxiv.org/abs/2204.08499v1
• Date: Mon, 18 Apr 2022 18:14:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 13:30:26.658747
• Title: DeepCore: A Comprehensive Library for Coreset Selection in Deep Learning
• Title（参考訳）: DeepCore: ディープラーニングにおけるコアセット選択のための総合ライブラリ
• Authors: Chengcheng Guo, Bo Zhao, Yanbing Bai
• Abstract要約: CIFAR10とImageNetデータセットのコアセット選択手法に関する実証的研究を行った。 特定の実験環境では性能が向上するメソッドもあるが、ランダム選択は依然として強力なベースラインである。
• 参考スコア（独自算出の注目度）: 3.897574108827803
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Coreset selection, which aims to select a subset of the most informative training samples, is a long-standing learning problem that can benefit many downstream tasks such as data-efficient learning, continual learning, neural architecture search, active learning, etc. However, many existing coreset selection methods are not designed for deep learning, which may have high complexity and poor generalization ability to unseen representations. In addition, the recently proposed methods are evaluated on models, datasets, and settings of different complexities. To advance the research of coreset selection in deep learning, we contribute a comprehensive code library, namely DeepCore, and provide an empirical study on popular coreset selection methods on CIFAR10 and ImageNet datasets. Extensive experiment results show that, although some methods perform better in certain experiment settings, random selection is still a strong baseline.
• Abstract（参考訳）: 最も有益なトレーニングサンプルのサブセットを選択することを目的としたCoreset selectionは、データ効率の学習、継続的な学習、ニューラルネットワーク検索、アクティブな学習など、多くの下流タスクに利益をもたらす、長年にわたる学習問題である。 しかし、多くの既存のコアセット選択法は深層学習のために設計されていない。 さらに、最近提案された手法は、モデル、データセット、異なる複雑さの設定に基づいて評価される。 深層学習におけるコアセット選択の研究を進めるために,総合的なコードライブラリであるdeepcoreを提供し,cifar10とimagenetデータセットのコアセット選択方法に関する実証研究を行った。 広範な実験結果から、特定の実験環境ではうまく機能する手法もあるが、ランダム選択は依然として強いベースラインであることが示された。

関連論文リスト

• TAGCOS: Task-agnostic Gradient Clustered Coreset Selection for Instruction Tuning Data [29.45013725650798]
  完全なデータセットに匹敵するパフォーマンスを達成する命令データセットのサブセットを抽出することが不可欠である。 タスク非依存のグラディエントクラスタ化コレセット選択(TAGCOS)を提案する。 具体的には、サンプル勾配をデータ表現として利用し、類似したデータをグループ化するためにクラスタリングを行い、コアセット選択に効率的なグリーディアルゴリズムを適用する。
  論文  参考訳（メタデータ） (2024-07-21T17:59:20Z)
• D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning [70.98091101459421]
  コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。 コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。 その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
  論文  参考訳（メタデータ） (2023-10-11T23:01:29Z)
• Exploring Data Redundancy in Real-world Image Classification through Data Selection [20.389636181891515]
  ディープラーニングモデルはトレーニングに大量のデータを必要とすることが多く、結果としてコストが増大する。 実世界の画像データの冗長性を調べるために,シナプスインテリジェンスと勾配ノルムに基づく2つのデータ評価指標を提案する。 オンラインおよびオフラインのデータ選択アルゴリズムは、検査されたデータ値に基づいてクラスタリングとグループ化によって提案される。
  論文  参考訳（メタデータ） (2023-06-25T03:31:05Z)
• Probabilistic Bilevel Coreset Selection [24.874967723659022]
  本稿では,各トレーニングサンプルの確率的重みを学習することにより,コアセット選択の連続確率的2レベル定式化を提案する。 暗黙的な微分の問題を伴わずに、偏りのない政策勾配を経由し、二段階最適化問題に対する効率的な解法を開発する。
  論文  参考訳（メタデータ） (2023-01-24T09:37:00Z)
• Exploiting Diversity of Unlabeled Data for Label-Efficient Semi-Supervised Active Learning [57.436224561482966]
  アクティブラーニング(英: Active Learning)は、ラベリングのための最も重要なサンプルを選択することで、高価なラベリングの問題に対処する研究分野である。 アクティブな学習環境における初期ラベル付けのための最も情報性の高いサンプル群を選択するために,多様性に基づく新しい初期データセット選択アルゴリズムを提案する。 また、一貫性に基づく埋め込みの多様性に基づくサンプリングを用いた、新しいアクティブな学習クエリ戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-25T16:11:55Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
  継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。 提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。 提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
  論文  参考訳（メタデータ） (2021-06-02T11:39:25Z)
• Extending Contrastive Learning to Unsupervised Coreset Selection [26.966136750754732]
  我々は、コアセットを完全にラベルなしで選択する教師なしの方法を提案する。 対照学習には2つの指導的手法を用いる。 ラベルを用いた既存のコアセット選択手法と比較して,人間のアノテーションに関連するコストを削減した。
  論文  参考訳（メタデータ） (2021-03-05T10:21:51Z)
• Confident Coreset for Active Learning in Medical Image Analysis [57.436224561482966]
  本稿では,情報的サンプルを効果的に選択するための,不確実性と分散性を考慮した新しい能動的学習手法である信頼コアセットを提案する。 2つの医用画像解析タスクの比較実験により,本手法が他の活動的学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-05T13:46:16Z)
• Learning to Select Base Classes for Few-shot Classification [96.92372639495551]
  我々は、数ショットモデルの一般化性能を示す指標として、類似度比を用いる。 次に、類似度比に対する部分モジュラー最適化問題として基底クラス選択問題を定式化する。
  論文  参考訳（メタデータ） (2020-04-01T09:55:18Z)
• Uncovering Coresets for Classification With Multi-Objective Evolutionary Algorithms [0.8057006406834467]
  coresetはトレーニングセットのサブセットであり、機械学習アルゴリズムが元のデータ全体にわたってトレーニングされた場合の成果と同じようなパフォーマンスを取得する。 候補コルセットは反復的に最適化され、サンプルの追加と削除が行われる。 多目的進化アルゴリズムは、集合内の点数と分類誤差を同時に最小化するために用いられる。
  論文  参考訳（メタデータ） (2020-02-20T09:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。