論文の概要: Unsupervised End-to-End Training with a Self-Defined Bio-Inspired Target
- arxiv url: http://arxiv.org/abs/2403.12116v1
- Date: Mon, 18 Mar 2024 16:14:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 18:41:45.027971
- Title: Unsupervised End-to-End Training with a Self-Defined Bio-Inspired Target
- Title(参考訳): 自己決定型バイオインスパイアされた標的を用いた教師なしエンドツーエンドトレーニング
- Authors: Dongshu Liu, Jérémie Laydevant, Adrien Pontlevy, Damien Querlioz, Julie Grollier,
- Abstract要約: 現在の教師なし学習法はエンドツーエンドの訓練に依存している。
ネットワークの最終層でWinner-Take-All (WTA) の選択性を利用する'self-defined target'を導入する。
このアプローチはフレームワークに依存しず、グローバル(バックプロパゲーション)とローカル(平衡伝播)の学習ルールの両方と互換性があり、MNISTデータセット上で97.6%のテスト精度を達成する。
- 参考スコア(独自算出の注目度): 2.6563873893593826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current unsupervised learning methods depend on end-to-end training via deep learning techniques such as self-supervised learning, with high computational requirements, or employ layer-by-layer training using bio-inspired approaches like Hebbian learning, using local learning rules incompatible with supervised learning. Both approaches are problematic for edge AI hardware that relies on sparse computational resources and would strongly benefit from alternating between unsupervised and supervised learning phases - thus leveraging widely available unlabeled data from the environment as well as labeled training datasets. To solve this challenge, in this work, we introduce a 'self-defined target' that uses Winner-Take-All (WTA) selectivity at the network's final layer, complemented by regularization through biologically inspired homeostasis mechanism. This approach, framework-agnostic and compatible with both global (Backpropagation) and local (Equilibrium propagation) learning rules, achieves a 97.6% test accuracy on the MNIST dataset. Furthermore, we demonstrate that incorporating a hidden layer enhances classification accuracy and the quality of learned features across all training methods, showcasing the advantages of end-to-end unsupervised training. Extending to semi-supervised learning, our method dynamically adjusts the target according to data availability, reaching a 96.6% accuracy with just 600 labeled MNIST samples. This result highlights our 'unsupervised target' strategy's efficacy and flexibility in scenarios ranging from abundant to no labeled data availability.
- Abstract(参考訳): 現在の教師なし学習法は、自己教師付き学習のような深層学習技術によるエンドツーエンドの訓練、高い計算要求、ヘビアン学習のようなバイオインスパイアされたアプローチを用いた層間学習、あるいは教師付き学習とは相容れない局所学習規則を用いる。
どちらのアプローチも、疎結合な計算リソースに依存し、教師なしと教師なしの学習フェーズの交互化による大きな恩恵を受けるエッジAIハードウェアには問題があり、環境から広く利用可能なラベルなしのデータとラベル付きトレーニングデータセットを活用する。
この課題を解決するために,ネットワークの最終層でWinner-Take-All (WTA) の選択性を利用する「自己定義目標」を導入し,生物学的にインスパイアされたホメオスタシス機構による正規化を補完する。
このアプローチはフレームワークに依存しず、グローバル(バックプロパゲーション)とローカル(平衡伝播)の学習ルールの両方と互換性があり、MNISTデータセット上で97.6%のテスト精度を達成する。
さらに,隠蔽層を組み込むことで,学習方法の分類精度と品質が向上し,エンド・ツー・エンドの教師なし学習の利点が示されることを示した。
半教師付き学習に拡張して、データ可用性に応じてターゲットを動的に調整し、600個のラベル付きMNISTサンプルで96.6%の精度で達成する。
この結果は、豊富なラベル付きデータ可用性から不要なシナリオにおける、"教師なしのターゲット"戦略の有効性と柔軟性を強調します。
関連論文リスト
- Self-Supervised Learning for User Localization [8.529237718266042]
機械学習技術は、ローカライゼーションタスクにおいて顕著な精度を示している。
大量のラベル付きデータ、特にChannel State Information(CSI)およびそれに対応する座標への依存は、依然としてボトルネックである。
CSIに基づくユーザローカライゼーションのための教師付き学習性能を高めるために,ラベルなしデータによる自己教師付き事前学習を活用する先駆的手法を提案する。
論文 参考訳(メタデータ) (2024-04-19T21:49:10Z) - Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。
提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文 参考訳(メタデータ) (2024-04-14T05:02:00Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-12-13T09:32:50Z) - Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳(メタデータ) (2023-08-26T07:55:32Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T21:51:04Z) - STEdge: Self-training Edge Detection with Multi-layer Teaching and
Regularization [15.579360385857129]
大規模未ラベル画像データセットの未使用富を活用した自己学習エッジ検出の課題について検討する。
マルチレイヤの正規化と自己学習を併用した自己教師型フレームワークを設計する。
本手法は,未確認のBIPEDデータセットを用いて,ODSが4.8%,OISが5.8%向上した。
論文 参考訳(メタデータ) (2022-01-13T18:26:36Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳(メタデータ) (2021-09-04T02:45:22Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳(メタデータ) (2021-06-22T16:53:09Z) - TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain
Gait Recognition [77.77786072373942]
本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。
我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。
提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
論文 参考訳(メタデータ) (2021-02-09T03:07:07Z) - Data-efficient Weakly-supervised Learning for On-line Object Detection
under Domain Shift in Robotics [24.878465999976594]
文献では、Deep Convolutional Neural Networks (DCNNs)に基づく多数のオブジェクト検出方法が提案されている。
これらの手法はロボティクスに重要な制限がある:オフラインデータのみに学習するとバイアスが発生し、新しいタスクへの適応を防ぐことができる。
本研究では,弱い教師付き学習がこれらの問題にどのように対処できるかを検討する。
論文 参考訳(メタデータ) (2020-12-28T16:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。