論文の概要: Unsupervised End-to-End Training with a Self-Defined Bio-Inspired Target

• arxiv url: http://arxiv.org/abs/2403.12116v1
• Date: Mon, 18 Mar 2024 16:14:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 18:41:45.027971
• Title: Unsupervised End-to-End Training with a Self-Defined Bio-Inspired Target
• Title（参考訳）: 自己決定型バイオインスパイアされた標的を用いた教師なしエンドツーエンドトレーニング
• Authors: Dongshu Liu, Jérémie Laydevant, Adrien Pontlevy, Damien Querlioz, Julie Grollier,
• Abstract要約: 現在の教師なし学習法はエンドツーエンドの訓練に依存している。 ネットワークの最終層でWinner-Take-All (WTA) の選択性を利用する'self-defined target'を導入する。 このアプローチはフレームワークに依存しず、グローバル(バックプロパゲーション)とローカル(平衡伝播)の学習ルールの両方と互換性があり、MNISTデータセット上で97.6%のテスト精度を達成する。
• 参考スコア（独自算出の注目度）: 2.6563873893593826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current unsupervised learning methods depend on end-to-end training via deep learning techniques such as self-supervised learning, with high computational requirements, or employ layer-by-layer training using bio-inspired approaches like Hebbian learning, using local learning rules incompatible with supervised learning. Both approaches are problematic for edge AI hardware that relies on sparse computational resources and would strongly benefit from alternating between unsupervised and supervised learning phases - thus leveraging widely available unlabeled data from the environment as well as labeled training datasets. To solve this challenge, in this work, we introduce a 'self-defined target' that uses Winner-Take-All (WTA) selectivity at the network's final layer, complemented by regularization through biologically inspired homeostasis mechanism. This approach, framework-agnostic and compatible with both global (Backpropagation) and local (Equilibrium propagation) learning rules, achieves a 97.6% test accuracy on the MNIST dataset. Furthermore, we demonstrate that incorporating a hidden layer enhances classification accuracy and the quality of learned features across all training methods, showcasing the advantages of end-to-end unsupervised training. Extending to semi-supervised learning, our method dynamically adjusts the target according to data availability, reaching a 96.6% accuracy with just 600 labeled MNIST samples. This result highlights our 'unsupervised target' strategy's efficacy and flexibility in scenarios ranging from abundant to no labeled data availability.
• Abstract（参考訳）: 現在の教師なし学習法は、自己教師付き学習のような深層学習技術によるエンドツーエンドの訓練、高い計算要求、ヘビアン学習のようなバイオインスパイアされたアプローチを用いた層間学習、あるいは教師付き学習とは相容れない局所学習規則を用いる。 どちらのアプローチも、疎結合な計算リソースに依存し、教師なしと教師なしの学習フェーズの交互化による大きな恩恵を受けるエッジAIハードウェアには問題があり、環境から広く利用可能なラベルなしのデータとラベル付きトレーニングデータセットを活用する。 この課題を解決するために,ネットワークの最終層でWinner-Take-All (WTA) の選択性を利用する「自己定義目標」を導入し,生物学的にインスパイアされたホメオスタシス機構による正規化を補完する。 このアプローチはフレームワークに依存しず、グローバル(バックプロパゲーション)とローカル(平衡伝播)の学習ルールの両方と互換性があり、MNISTデータセット上で97.6%のテスト精度を達成する。 さらに,隠蔽層を組み込むことで,学習方法の分類精度と品質が向上し,エンド・ツー・エンドの教師なし学習の利点が示されることを示した。 半教師付き学習に拡張して、データ可用性に応じてターゲットを動的に調整し、600個のラベル付きMNISTサンプルで96.6%の精度で達成する。 この結果は、豊富なラベル付きデータ可用性から不要なシナリオにおける、"教師なしのターゲット"戦略の有効性と柔軟性を強調します。

関連論文リスト

• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Deep Reinforcement Learning Assisted Federated Learning Algorithm for Data Management of IIoT [82.33080550378068]
  産業用IoT(Industrial Internet of Things)の継続的な拡大により、IIoT機器は毎回大量のユーザデータを生成する。 IIoTの分野で、これらの時系列データを効率的かつ安全な方法で管理する方法は、依然として未解決の問題である。 本稿では,無線ネットワーク環境におけるIIoT機器データ管理におけるFL技術の適用について検討する。
  論文  参考訳（メタデータ） (2022-02-03T07:12:36Z)
• Motivating Learners in Multi-Orchestrator Mobile Edge Learning: A Stackelberg Game Approach [54.28419430315478]
  Mobile Edge Learningは、異種エッジデバイス上で機械学習モデルの分散トレーニングを可能にする。 MELでは、十分なトレーニングデータやコンピューティングリソースを入手することなく、トレーニング性能が低下する。 そこで我々は2ラウンドのStackelbergゲームとしてオーケストレータとラーナーの相互作用を定式化するインセンティブ機構を提案する。
  論文  参考訳（メタデータ） (2021-09-25T17:27:48Z)
• Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification [0.0]
  この研究は、Kaggle.comの cat-vs-dogs データセット Mnist と Fashion-Mnist を実装し、自己教師型学習タスクを調査している。 その結果、自己教師型学習におけるプレテキスト処理は、下流分類タスクの約15%の精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2021-08-17T06:43:05Z)
• Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
  本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
  論文  参考訳（メタデータ） (2021-06-22T16:53:09Z)
• MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
  我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。 MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。 提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
  論文  参考訳（メタデータ） (2020-11-30T23:01:04Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)
• Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence [8.110949636804772]
  スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。 本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。 さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-07-25T21:59:17Z)
• Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights [92.16372657233394]
  自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。 ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。 本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
  論文  参考訳（メタデータ） (2020-06-22T15:59:32Z)
• Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance [0.0]
  本研究では,Cifar-10とSVHNを用いた一発半教師付き学習(BOSS)の可能性を示す。 本手法は, クラスプロトタイプの精錬, クラスバランシング, 自己学習を組み合わせた手法である。 厳密な経験的評価は、ディープニューラルネットワークのトレーニングには大規模なデータセットのラベル付けは必要ないという証拠を提供する。
  論文  参考訳（メタデータ） (2020-06-16T17:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。