論文の概要: Enabling On-Device Learning via Experience Replay with Efficient Dataset Condensation

• arxiv url: http://arxiv.org/abs/2405.16113v1
• Date: Sat, 25 May 2024 07:52:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 01:00:23.546197
• Title: Enabling On-Device Learning via Experience Replay with Efficient Dataset Condensation
• Title（参考訳）: 効率的なデータセット凝縮を用いた体験再生によるオンデバイス学習の実現
• Authors: Gelei Xu, Ningzhi Tang, Jun Xia, Wei Jin, Yiyu Shi,
• Abstract要約: 本稿では,重要な情報損失を回避するために,最も代表的データを特定する問題に対処するオンデバイスフレームワークを提案する。 具体的には、未ラベルの着信データを効果的に処理するために、未ラベルのオンデバイス学習環境向けに設計された擬似ラベル技術を提案する。 バッファ容量は1クラスにつき1サンプルに過ぎず,既存のベースラインを58.4%上回る精度を実現している。
• 参考スコア（独自算出の注目度）: 15.915388740468815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Upon deployment to edge devices, it is often desirable for a model to further learn from streaming data to improve accuracy. However, extracting representative features from such data is challenging because it is typically unlabeled, non-independent and identically distributed (non-i.i.d), and is seen only once. To mitigate this issue, a common strategy is to maintain a small data buffer on the edge device to hold the most representative data for further learning. As most data is either never stored or quickly discarded, identifying the most representative data to avoid significant information loss becomes critical. In this paper, we propose an on-device framework that addresses this issue by condensing incoming data into more informative samples. Specifically, to effectively handle unlabeled incoming data, we propose a pseudo-labeling technique designed for unlabeled on-device learning environments. Additionally, we develop a dataset condensation technique that only requires little computation resources. To counteract the effects of noisy labels during the condensation process, we further utilize a contrastive learning objective to improve the purity of class data within the buffer. Our empirical results indicate substantial improvements over existing methods, particularly when buffer capacity is severely restricted. For instance, with a buffer capacity of just one sample per class, our method achieves an accuracy that outperforms the best existing baseline by 58.4% on the CIFAR-10 dataset.
• Abstract（参考訳）: エッジデバイスへのデプロイ時には、モデルがストリーミングデータからさらに学び、精度を向上させることが望ましい場合が多い。 しかし、そのようなデータから代表的特徴を抽出することは、通常はラベルがなく、非独立で、同一に分布している(非i.d)ため困難であり、一度しか見られない。 この問題を緩和するためには、エッジデバイスに小さなデータバッファを保持して、さらなる学習のために最も代表的なデータを保持することが一般的な戦略である。 ほとんどのデータが保存されないか、すぐに破棄されることはないため、重要な情報損失を避けるために最も代表的なデータを特定することが重要になる。 本稿では,入力データをより情報的なサンプルに凝縮することで,この問題に対処するオンデバイスフレームワークを提案する。 具体的には、未ラベルの着信データを効果的に処理するために、未ラベルのオンデバイス学習環境向けに設計された擬似ラベル技術を提案する。 さらに,少ない計算資源しか必要としないデータセット凝縮手法を開発した。 凝縮過程におけるノイズラベルの効果を抑えるため,バッファ内のクラスデータの純度を向上させるために,コントラスト学習の目的をさらに活用する。 実験結果から,バッファ容量が著しく制限された場合,既存の手法よりも大幅に改善されたことが示唆された。 例えば、クラス毎のバッファ容量はたった1つのサンプルで、我々の手法は、CIFAR-10データセットにおいて、最高のベースラインを58.4%上回る精度を達成する。

関連論文リスト

• Data Pruning Can Do More: A Comprehensive Data Pruning Approach for Object Re-identification [13.732596789612362]
  この研究は、オブジェクトの再識別タスクに適用されたデータプルーニングメソッドの実現可能性について、最初の研究である。 トレーニング中のロジット履歴を十分に活用することにより,本手法は試料の重要度を定量化するための,より正確で包括的な指標を提供する。 提案手法は高効率であり,従来の手法に比べて10倍のコストで重要なスコア推定を行うことができる。
  論文  参考訳（メタデータ） (2024-12-13T12:27:47Z)
• Learning from Convolution-based Unlearnable Datastes [5.332412565926725]
  ConlearnベースのUnlearnable DAtaset(CUDA)メソッドは、データセット内のすべてのイメージにクラスワイドなぼかしを適用することによって、データを学習不能にすることを目的としている。 本研究は,画像のシャープ化と周波数フィルタリングにより,データが未学習のままであるか否かを評価する。 学習不能なデータを用いて学習したモデルに対して,逆行訓練によるテスト精度の大幅な向上を観察する。
  論文  参考訳（メタデータ） (2024-11-04T01:51:50Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• May the Forgetting Be with You: Alternate Replay for Learning with Noisy Labels [16.262555459431155]
  本稿では、メモリバッファ内のクリーンで複雑でノイズの多いサンプルの明確な区別を維持するために、忘れることの利点を生かしたAlternate Experience Replay(AER)を紹介する。 得られたバッファの精度と純度の両方の観点から,本手法の有効性を実証し,既存の損失ベース浄化戦略に対して,平均4.71%の精度向上を実現した。
  論文  参考訳（メタデータ） (2024-08-26T14:09:40Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning [73.13448439554497]
  Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。 ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。 本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:57:59Z)
• Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning [14.462797749666992]
  本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。 本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。 この手法はタスクインクリメンタル設定における最先端性能を得る。
  論文  参考訳（メタデータ） (2023-03-26T16:35:45Z)
• On-the-fly Denoising for Data Augmentation in Natural Language Understanding [101.46848743193358]
  よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。 本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2022-12-20T18:58:33Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Enabling On-Device Self-Supervised Contrastive Learning With Selective Data Contrast [13.563747709789387]
  ラベルなし入力ストリームから最も代表的なデータを自動的に選択するフレームワークを提案する。 実験により、精度と学習速度が大幅に向上していることが示された。
  論文  参考訳（メタデータ） (2021-06-07T17:04:56Z)
• Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights [92.16372657233394]
  自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。 ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。 本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
  論文  参考訳（メタデータ） (2020-06-22T15:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。