Fugu-MT 論文翻訳(概要): Towards Sustainable Learning: Coresets for Data-efficient Deep Learning

論文の概要: Towards Sustainable Learning: Coresets for Data-efficient Deep Learning

arxiv url: http://arxiv.org/abs/2306.01244v1
Date: Fri, 2 Jun 2023 02:51:08 GMT
ステータス: 処理完了
システム内更新日: 2023-06-05 16:51:46.708127
Title: Towards Sustainable Learning: Coresets for Data-efficient Deep Learning
Title（参考訳）: 持続可能な学習を目指して - データ効率の深い学習のためのコアセット
Authors: Yu Yang, Hao Kang, Baharan Mirzasoleiman
Abstract要約: CRESTは、データセットに関する厳密な理論的サブセット実験を備えた、最初のスケーラブルなサブセットディープネットワークフレームワークである。 CRESTは、非イメージ関数の最も価値のある例を特定している。
参考スコア（独自算出の注目度）: 9.51481812606879
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: To improve the efficiency and sustainability of learning deep models, we propose CREST, the first scalable framework with rigorous theoretical guarantees to identify the most valuable examples for training non-convex models, particularly deep networks. To guarantee convergence to a stationary point of a non-convex function, CREST models the non-convex loss as a series of quadratic functions and extracts a coreset for each quadratic sub-region. In addition, to ensure faster convergence of stochastic gradient methods such as (mini-batch) SGD, CREST iteratively extracts multiple mini-batch coresets from larger random subsets of training data, to ensure nearly-unbiased gradients with small variances. Finally, to further improve scalability and efficiency, CREST identifies and excludes the examples that are learned from the coreset selection pipeline. Our extensive experiments on several deep networks trained on vision and NLP datasets, including CIFAR-10, CIFAR-100, TinyImageNet, and SNLI, confirm that CREST speeds up training deep networks on very large datasets, by 1.7x to 2.5x with minimum loss in the performance. By analyzing the learning difficulty of the subsets selected by CREST, we show that deep models benefit the most by learning from subsets of increasing difficulty levels.
Abstract（参考訳）: 深層モデル学習の効率と持続性を改善するため,我々は,非凸モデル,特に深層ネットワークのトレーニングに最も有用な例を特定するための厳密な理論保証を備えた,最初のスケーラブルなフレームワークである crest を提案する。非凸関数の定常点への収束を保証するため、CRESTは非凸損失を一連の二次関数としてモデル化し、各二次部分領域のコアセットを抽出する。さらに、(ミニバッチ)SGDのような確率勾配法を高速に収束させるため、CRESTは、トレーニングデータのより大きなランダム部分集合から複数のミニバッチコアセットを反復的に抽出し、小さな分散を伴うほぼ不偏勾配を確保する。最後に,スケーラビリティと効率性をさらに向上するために,氏は,coreset選択パイプラインから学んだ例を特定し,除外する。 CIFAR-10、CIFAR-100、TinyImageNet、SNLIなど、視覚とNLPデータセットでトレーニングされたいくつかのディープネットワークに関する広範な実験では、CRESTが、非常に大きなデータセット上でディープネットワークのトレーニングを、パフォーマンスを最小で1.7倍から2.5倍高速化することを確認した。 crestが選択したサブセットの学習難易度を解析することにより,難易度レベルが増加する部分集合から学習することで,深層モデルが最も有益であることを示す。

関連論文リスト

Adaptive Dataset Quantization [2.0105434963031463]
適応データセット量子化(ADQ)という,データセット圧縮のための汎用フレームワークを導入する。本稿では,生成したビンの代表性スコア,多様性スコア,重要度スコアの評価を通じて,新しい適応型サンプリング戦略を提案する。提案手法は, 異なるアーキテクチャにまたがる優れた一般化能力を示すだけでなく, 各種データセットにおいてDQを平均3%越えて, 最先端の結果が得られる。
論文参考訳（メタデータ） (2024-12-22T07:08:29Z)
A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
論文参考訳（メタデータ） (2024-09-03T13:29:13Z)
A Closer Look at Spatial-Slice Features Learning for COVID-19 Detection [8.215897530386343]
我々は,CTスキャンに特化して設計されたSpatial-Slice Feature Learning (SSFL++) フレームワークを提案する。本研究の目的は,全CTスキャンでOODデータをフィルタリングし,70%の冗長性を完全に低減し,解析のための重要な空間スライスを選択することである。実験では、トレーニングデータの1%しか持たない単純なE2D(EfficientNet-2D)モデルを用いて、我々のモデルの有望な性能を実証した。
論文参考訳（メタデータ） (2024-04-02T05:19:27Z)
Simple 2D Convolutional Neural Network-based Approach for COVID-19 Detection [8.215897530386343]
本研究では,肺CT画像解析におけるディープラーニング技術の利用について検討した。我々は,CTスキャンに適した高度な空間スライス特徴学習(SSFL++)フレームワークを提案する。本研究の目的は,CTスキャン全体のアウト・オブ・ディストリビューション(OOD)データをフィルタリングし,データ冗長性を70%削減して解析に不可欠な空間スライス特徴を選択することである。
論文参考訳（メタデータ） (2024-03-17T14:34:51Z)
Exploring Learning Complexity for Efficient Downstream Dataset Pruning [8.990878450631596]
既存のデータセットプルーニングメソッドでは、データセット全体のトレーニングが必要になる。本稿では、DLC(Distorting-based Learning Complexity)という、単純で、新規で、トレーニング不要な難易度スコアを提案する。本手法は,より高速に学習できるサンプルを少ないパラメータで学習できるという観察結果に動機付けられている。
論文参考訳（メタデータ） (2024-02-08T02:29:33Z)
Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文参考訳（メタデータ） (2024-01-17T09:01:29Z)
A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
論文参考訳（メタデータ） (2023-12-17T04:41:07Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
Adaptive Second Order Coresets for Data-efficient Machine Learning [5.362258158646462]
データセット上で機械学習モデルをトレーニングすると、かなりの計算コストが発生する。機械学習のためのトレーニング例のサブセットを抽出するために,AdaCoreを提案する。
論文参考訳（メタデータ） (2022-07-28T05:43:09Z)
MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT Prostate Segmentation via Online Sampling [66.01558025094333]
本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
論文参考訳（メタデータ） (2020-05-15T10:37:02Z)
One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文参考訳（メタデータ） (2020-05-08T01:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。