論文の概要: Unsupervised End-to-End Training with a Self-Defined Target

• arxiv url: http://arxiv.org/abs/2403.12116v2
• Date: Tue, 23 Jul 2024 14:49:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 22:53:21.561778
• Title: Unsupervised End-to-End Training with a Self-Defined Target
• Title（参考訳）: 自己決定目標を用いた教師なしエンドツーエンドトレーニング
• Authors: Dongshu Liu, Jérémie Laydevant, Adrien Pontlevy, Damien Querlioz, Julie Grollier,
• Abstract要約: 本稿では,エンドツーエンドの教師あり学習用に設計されたネットワークやハードウェアが,高性能な教師なし学習を実現する方法を提案する。 我々はこの手法を半教師付き学習に拡張し、データ型に基づいて目標を調整し、600のラベル付きMNISTサンプルを多層パーセプトロンで96.6%の精度で検出する。
• 参考スコア（独自算出の注目度）: 2.6563873893593826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing algorithms for versatile AI hardware that can learn on the edge using both labeled and unlabeled data is challenging. Deep end-to-end training methods incorporating phases of self-supervised and supervised learning are accurate and adaptable to input data but self-supervised learning requires even more computational and memory resources than supervised learning, too high for current embedded hardware. Conversely, unsupervised layer-by-layer training, such as Hebbian learning, is more compatible with existing hardware but does not integrate well with supervised learning. To address this, we propose a method enabling networks or hardware designed for end-to-end supervised learning to also perform high-performance unsupervised learning by adding two simple elements to the output layer: Winner-Take-All (WTA) selectivity and homeostasis regularization. These mechanisms introduce a "self-defined target" for unlabeled data, allowing purely unsupervised training for both fully-connected and convolutional layers using backpropagation or equilibrium propagation on datasets like MNIST (up to 99.2%), Fashion-MNIST (up to 90.3%), and SVHN (up to 81.5%). We extend this method to semi-supervised learning, adjusting targets based on data type, achieving 96.6% accuracy with only 600 labeled MNIST samples in a multi-layer perceptron. Our results show that this approach can effectively enable networks and hardware initially dedicated to supervised learning to also perform unsupervised learning, adapting to varying availability of labeled data.
• Abstract（参考訳）: ラベル付きデータとラベルなしデータの両方を使ってエッジで学習できる汎用AIハードウェアのためのアルゴリズムの設計は難しい。 自己教師型学習と教師型学習のフェーズを取り入れた深層エンドツーエンドの訓練手法は、入力データに正確で適応可能であるが、自己教師型学習は教師型学習よりも多くの計算とメモリリソースを必要とし、現在の組込みハードウェアには高すぎる。 逆に、Hebbian Learningのような教師なしのレイヤ・バイ・レイヤのトレーニングは、既存のハードウェアとより互換性があるが、教師付き学習とうまく統合されていない。 そこで本研究では,エンド・ツー・エンドの教師付き学習のために設計されたネットワークやハードウェアが,出力層に2つの単純な要素,すなわちWinner-Take-All(WTA)選択性とホメオスタシス正規化を付加することにより,高性能な教師なし学習を実現する手法を提案する。 これらのメカニズムにより、MNIST(最大99.2%)、Fashion-MNIST(最大90.3%)、SVHN(最大81.5%)といったデータセット上でのバックプロパゲーションや平衡伝播を用いて、完全連結層と畳み込み層の両方に対する純粋な教師なしトレーニングが可能になる。 我々はこの手法を半教師付き学習に拡張し、データ型に基づいて目標を調整し、600のラベル付きMNISTサンプルを多層パーセプトロンで96.6%の精度で検出する。 提案手法により,教師なし学習に特化していたネットワークやハードウェアが,ラベル付きデータの多種多様な利用に適応して,教師なし学習を効果的に実現できることが示唆された。

関連論文リスト

• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Deep Reinforcement Learning Assisted Federated Learning Algorithm for Data Management of IIoT [82.33080550378068]
  産業用IoT(Industrial Internet of Things)の継続的な拡大により、IIoT機器は毎回大量のユーザデータを生成する。 IIoTの分野で、これらの時系列データを効率的かつ安全な方法で管理する方法は、依然として未解決の問題である。 本稿では,無線ネットワーク環境におけるIIoT機器データ管理におけるFL技術の適用について検討する。
  論文  参考訳（メタデータ） (2022-02-03T07:12:36Z)
• Motivating Learners in Multi-Orchestrator Mobile Edge Learning: A Stackelberg Game Approach [54.28419430315478]
  Mobile Edge Learningは、異種エッジデバイス上で機械学習モデルの分散トレーニングを可能にする。 MELでは、十分なトレーニングデータやコンピューティングリソースを入手することなく、トレーニング性能が低下する。 そこで我々は2ラウンドのStackelbergゲームとしてオーケストレータとラーナーの相互作用を定式化するインセンティブ機構を提案する。
  論文  参考訳（メタデータ） (2021-09-25T17:27:48Z)
• Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification [0.0]
  この研究は、Kaggle.comの cat-vs-dogs データセット Mnist と Fashion-Mnist を実装し、自己教師型学習タスクを調査している。 その結果、自己教師型学習におけるプレテキスト処理は、下流分類タスクの約15%の精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2021-08-17T06:43:05Z)
• Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
  本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
  論文  参考訳（メタデータ） (2021-06-22T16:53:09Z)
• MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
  我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。 MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。 提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
  論文  参考訳（メタデータ） (2020-11-30T23:01:04Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)
• Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence [8.110949636804772]
  スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。 本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。 さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-07-25T21:59:17Z)
• Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights [92.16372657233394]
  自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。 ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。 本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
  論文  参考訳（メタデータ） (2020-06-22T15:59:32Z)
• Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance [0.0]
  本研究では,Cifar-10とSVHNを用いた一発半教師付き学習(BOSS)の可能性を示す。 本手法は, クラスプロトタイプの精錬, クラスバランシング, 自己学習を組み合わせた手法である。 厳密な経験的評価は、ディープニューラルネットワークのトレーニングには大規模なデータセットのラベル付けは必要ないという証拠を提供する。
  論文  参考訳（メタデータ） (2020-06-16T17:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。