Fugu-MT 論文翻訳(概要): Enabling On-Device Self-Supervised Contrastive Learning With Selective Data Contrast

論文の概要: Enabling On-Device Self-Supervised Contrastive Learning With Selective Data Contrast

arxiv url: http://arxiv.org/abs/2106.03796v1
Date: Mon, 7 Jun 2021 17:04:56 GMT
ステータス: 処理完了
システム内更新日: 2021-06-08 17:46:29.007767
Title: Enabling On-Device Self-Supervised Contrastive Learning With Selective Data Contrast
Title（参考訳）: 選択データコントラストを用いたデバイス上での自己監督型コントラスト学習の実現
Authors: Yawen Wu, Zhepeng Wang, Dewen Zeng, Yiyu Shi, Jingtong Hu
Abstract要約: ラベルなし入力ストリームから最も代表的なデータを自動的に選択するフレームワークを提案する。実験により、精度と学習速度が大幅に向上していることが示された。
参考スコア（独自算出の注目度）: 13.563747709789387
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: After a model is deployed on edge devices, it is desirable for these devices to learn from unlabeled data to continuously improve accuracy. Contrastive learning has demonstrated its great potential in learning from unlabeled data. However, the online input data are usually none independent and identically distributed (non-iid) and storages of edge devices are usually too limited to store enough representative data from different data classes. We propose a framework to automatically select the most representative data from the unlabeled input stream, which only requires a small data buffer for dynamic learning. Experiments show that accuracy and learning speed are greatly improved.
Abstract（参考訳）: エッジデバイスにモデルがデプロイされると、ラベルのないデータから学習して精度を継続的に向上することが望ましい。対照的な学習はラベルのないデータから学ぶ上で大きな可能性を示しています。しかし、オンラインの入力データは独立性がなく、同一の分散(非ID)であり、エッジデバイスのストレージは、通常、異なるデータクラスから十分な代表データを保存するには限られている。動的学習のための小さなデータバッファのみを必要とするラベルなしの入力ストリームから、最も代表的なデータを自動的に選択するフレームワークを提案する。実験の結果,精度と学習速度が大幅に向上した。

関連論文リスト

Enabling On-Device Learning via Experience Replay with Efficient Dataset Condensation [15.915388740468815]
本稿では,重要な情報損失を回避するために,最も代表的データを特定する問題に対処するオンデバイスフレームワークを提案する。具体的には、未ラベルの着信データを効果的に処理するために、未ラベルのオンデバイス学習環境向けに設計された擬似ラベル技術を提案する。バッファ容量は1クラスにつき1サンプルに過ぎず,既存のベースラインを58.4%上回る精度を実現している。
論文参考訳（メタデータ） (2024-05-25T07:52:36Z)
Ambiguous Annotations: When is a Pedestrian not a Pedestrian? [6.974741712647656]
割り当てられたラベルが正しいかどうかを客観的に決定できるとは限らない。実験の結果,トレーニングから高度にあいまいなデータを除くと,モデルの性能が向上することがわかった。不明瞭なインスタンスを安全に取り除き、トレーニングデータの保持された代表性を確保するためには、調査中のデータセットとクラスの特性を理解することが不可欠である。
論文参考訳（メタデータ） (2024-05-14T17:44:34Z)
FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning [73.13448439554497]
Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
論文参考訳（メタデータ） (2023-10-25T06:57:59Z)
Self-supervised On-device Federated Learning from Unlabeled Streams [15.94978097767473]
我々はSOFedと呼ばれるコアセット選択機能を備えた自己教師型オンデバイスフェデレーション学習フレームワークを提案し,コアセットを自動的に選択する。視覚表現学習における提案手法の有効性と意義について実験を行った。
論文参考訳（メタデータ） (2022-12-02T07:22:00Z)
Understanding Memorization from the Perspective of Optimization via Efficient Influence Estimation [54.899751055620904]
本研究では,実データ(実データ)とランダムラベル(ランダムデータ)のデータに対する,ターンオーバードロップアウトによる暗記現象,影響と暗記を効率的に推定する手法について検討する。 i) 実データと乱データの両方において、簡単な例(例えば、実データ)と難しい例(例えば、乱データ)の最適化は、ネットワークによって同時に行われる。
論文参考訳（メタデータ） (2021-12-16T11:34:23Z)
Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
論文参考訳（メタデータ） (2021-02-25T14:56:19Z)
ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文参考訳（メタデータ） (2021-01-02T09:04:14Z)
Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence [8.110949636804772]
スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
論文参考訳（メタデータ） (2020-07-25T21:59:17Z)
Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights [92.16372657233394]
自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
論文参考訳（メタデータ） (2020-06-22T15:59:32Z)
Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-13T08:24:33Z)
Federated Visual Classification with Real-World Data Distribution [9.564468846277366]
我々は,FedAvg(Federated Averaging)アルゴリズムのベンチマークを用いて,実世界のデータ分布が分散学習に与える影響を特徴付ける。種別とランドマーク分類のための2つの新しい大規模データセットを導入し,ユーザ毎のデータ分割を現実的に行う。また、2つの新しいアルゴリズム(FedVC、FedIR)も開発しています。
論文参考訳（メタデータ） (2020-03-18T07:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。