論文の概要: Design of Supervision-Scalable Learning Systems: Methodology and
Performance Benchmarking
- arxiv url: http://arxiv.org/abs/2206.09061v1
- Date: Sat, 18 Jun 2022 00:26:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 17:10:52.731152
- Title: Design of Supervision-Scalable Learning Systems: Methodology and
Performance Benchmarking
- Title（参考訳）: 監督スケーラブル学習システムの設計:方法論と性能ベンチマーク
- Authors: Yijing Yang, Hongyu Fu and C.-C. Jay Kuo
- Abstract要約: 本研究では,広範囲の監督下で安定した性能を提供する頑健な学習システムの設計について検討する。
本稿では,2種類の学習システムを提案する。一方は指向性勾配(HOG)特徴の古典的ヒストグラムを採用し,他方は逐次サブスペース学習(SSL)特徴を用いる。
我々は、MNISTデータセットとFashion-MNISTデータセットに対して、エンドツーエンド最適化ニューラルネットワークであるLeNet-5に対して、それらの性能をテストする。
- 参考スコア（独自算出の注目度）: 32.576088304113114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The design of robust learning systems that offer stable performance under a
wide range of supervision degrees is investigated in this work. We choose the
image classification problem as an illustrative example and focus on the design
of modularized systems that consist of three learning modules: representation
learning, feature learning and decision learning. We discuss ways to adjust
each module so that the design is robust with respect to different training
sample numbers. Based on these ideas, we propose two families of learning
systems. One adopts the classical histogram of oriented gradients (HOG)
features while the other uses successive-subspace-learning (SSL) features. We
test their performance against LeNet-5, which is an end-to-end optimized neural
network, for MNIST and Fashion-MNIST datasets. The number of training samples
per image class goes from the extremely weak supervision condition (i.e., 1
labeled sample per class) to the strong supervision condition (i.e., 4096
labeled sample per class) with gradual transition in between (i.e., $2^n$,
$n=0, 1, \cdots, 12$). Experimental results show that the two families of
modularized learning systems have more robust performance than LeNet-5. They
both outperform LeNet-5 by a large margin for small $n$ and have performance
comparable with that of LeNet-5 for large $n$.
- Abstract（参考訳）: 本研究は,幅広い監督学位の下で安定した性能を提供する頑健な学習システムの設計について検討する。
画像分類問題を図示的な例として選び、表現学習、特徴学習、決定学習という3つの学習モジュールからなるモジュール化システムの設計に焦点を当てる。
異なるトレーニングサンプル数に対して設計が堅牢になるように各モジュールを調整する方法について論じる。
これらの考え方に基づき,2種類の学習システムを提案する。
1つはオブジェクト指向勾配(HOG)の古典的ヒストグラムを採用し、もう1つは連続部分空間学習(SSL)機能を使用している。
mnist と fashion-mnist データセットのためのエンドツーエンド最適化ニューラルネットワークである lenet-5 の性能をテストする。
画像クラス毎のトレーニングサンプルの数は、非常に弱い監督条件(クラス毎の1つのラベル付きサンプル)から強い監督条件(クラス毎の4096個のラベル付きサンプル)に移行し、段階的に移行する(すなわち、$2^n$, $n=0, 1, \cdots, 12$)。
実験の結果,モジュール型学習システムの2つのファミリーは,LeNet-5よりも堅牢な性能を示した。
どちらも、小さな$n$でLeNet-5をはるかに上回り、大きな$n$でLeNet-5に匹敵するパフォーマンスを持つ。
関連論文リスト
- Predicting Software Performance with Divide-and-Learn [3.635696352780227]
本稿では,DALと呼ばれる「分枝学習」の概念に基づくアプローチを提案する。
実世界の8つのシステムと5つのトレーニングデータによる実験結果から、DaLは40件中33件で最高のシステムよりもパフォーマンスが劣っていることが判明した。
論文 参考訳（メタデータ） (2023-06-11T11:16:27Z) - A Light-weight Deep Learning Model for Remote Sensing Image
Classification [70.66164876551674]
リモートセンシング画像分類(RSIC)のための高性能で軽量なディープラーニングモデルを提案する。
NWPU-RESISC45ベンチマークで広範な実験を行うことで、提案した教師学生モデルは最先端システムより優れている。
論文 参考訳（メタデータ） (2023-02-25T09:02:01Z) - Learning Rate Curriculum [75.98230528486401]
ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。
LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。
Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
論文 参考訳（メタデータ） (2022-05-18T18:57:36Z) - Classification of Astronomical Bodies by Efficient Layer Fine-Tuning of
Deep Neural Networks [0.0]
SDSS-IVデータセットには、銀河、星、クエーサーなどの様々な天体に関する情報が含まれている。
深層マルチモーダル学習の研究に触発されて、これらのアーキテクチャの微調整に関する研究をさらに拡張し、分類シナリオの効果について検討した。
論文 参考訳（メタデータ） (2022-05-14T20:08:19Z) - Large Scale Time-Series Representation Learning via Simultaneous Low and
High Frequency Feature Bootstrapping [7.0064929761691745]
本稿では,非コントラスト型自己教師型学習手法を提案する。
提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。
モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
論文 参考訳（メタデータ） (2022-04-24T14:39:47Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - Efficient deep learning models for land cover image classification [0.29748898344267777]
土地利用土地被覆(LULC)画像分類のためのBigEarthNetデータセットを用いて実験を行った。
コンボリューションニューラルネットワーク、マルチ層パーセプトロン、ビジュアルトランスフォーマー、効率的なネットワーク、ワイド残留ネットワーク(WRN)など、さまざまな最先端モデルをベンチマークする。
提案する軽量モデルは、訓練可能なパラメータが桁違いに小さく、平均的なFスコア分類精度が19のLULCクラスすべてに対して4.5%向上し、ベースラインとして使用するResNet50の2倍高速に訓練される。
論文 参考訳（メタデータ） (2021-11-18T00:03:14Z) - Weakly Supervised Contrastive Learning [68.47096022526927]
この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。
WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
論文 参考訳（メタデータ） (2021-10-10T12:03:52Z) - Intra-Model Collaborative Learning of Neural Networks [3.04585143845864]
本研究では,1つのネットワークの異なる部分間での協調学習の4つの方法を提案する。
SongとChaiの手法と比較して、我々のフレームワークは単一のモデル内でのコラボレーションをさらに検討し、オーバーヘッドを小さくします。
提案手法は,Cifar-10データセットを用いた実験により,ノイズのラベル付けに頑健であることが証明された。
論文 参考訳（メタデータ） (2021-05-20T08:30:33Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳（メタデータ） (2021-04-01T13:55:21Z) - A Framework For Contrastive Self-Supervised Learning And Designing A New
Approach [78.62764948912502]
コントラスト型自己教師学習(コントラスト型自己教師学習、Contrastive self-supervised learning、CSL)は、プレテキストタスクを解くことで有用な表現を学習する手法である。
本稿では,CSLアプローチを5つの側面で特徴付ける概念的枠組みを提案する。
論文 参考訳（メタデータ） (2020-08-31T21:11:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。