Fugu-MT 論文翻訳(概要): ScaleNet: An Unsupervised Representation Learning Method for Limited Information

論文の概要: ScaleNet: An Unsupervised Representation Learning Method for Limited Information

arxiv url: http://arxiv.org/abs/2310.02386v1
Date: Tue, 3 Oct 2023 19:13:43 GMT
ステータス: 処理完了
システム内更新日: 2023-10-05 17:50:46.347196
Title: ScaleNet: An Unsupervised Representation Learning Method for Limited Information
Title（参考訳）: ScaleNet: 限定情報のための教師なし表現学習手法
Authors: Huili Huang, M. Mahdi Roozbahani
Abstract要約: ScaleNet という,シンプルで効率的な非教師なし表現学習手法を提案する。ハリスコーナー情報のような特定の画像特徴は、回転予測タスクの効率において重要な役割を果たす。限られたデータを持つScaleNetモデルから転送されたパラメータは、RotNetモデルと比較して、ImageNet分類タスクを約6%改善する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although large-scale labeled data are essential for deep convolutional neural networks (ConvNets) to learn high-level semantic visual representations, it is time-consuming and impractical to collect and annotate large-scale datasets. A simple and efficient unsupervised representation learning method named ScaleNet based on multi-scale images is proposed in this study to enhance the performance of ConvNets when limited information is available. The input images are first resized to a smaller size and fed to the ConvNet to recognize the rotation degree. Next, the ConvNet learns the rotation-prediction task for the original size images based on the parameters transferred from the previous model. The CIFAR-10 and ImageNet datasets are examined on different architectures such as AlexNet and ResNet50 in this study. The current study demonstrates that specific image features, such as Harris corner information, play a critical role in the efficiency of the rotation-prediction task. The ScaleNet supersedes the RotNet by ~7% in the limited CIFAR-10 dataset. The transferred parameters from a ScaleNet model with limited data improve the ImageNet Classification task by about 6% compared to the RotNet model. This study shows the capability of the ScaleNet method to improve other cutting-edge models such as SimCLR by learning effective features for classification tasks.
Abstract（参考訳）: 深層畳み込みニューラルネットワーク (deep convolutional neural network, convnets) では,高レベルの意味的表現を学ぶ上で,大規模ラベル付きデータが不可欠であるが,大規模データセットの収集と注釈付けには時間を要する。本研究では,マルチスケール画像に基づく簡易かつ効率的な非教師なし表現学習手法であるScaleNetを提案し,限られた情報が得られる場合にConvNetの性能を向上させる。入力画像は、まず小さなサイズにリサイズされ、その回転度を認識するためにConvNetに供給される。次に、ConvNetは、前モデルから転送されたパラメータに基づいて、原サイズの画像の回転予測タスクを学習する。 CIFAR-10とImageNetデータセットは、AlexNetやResNet50のような異なるアーキテクチャで研究されている。現在の研究では、ハリス角情報のような特定の画像特徴が回転予測タスクの効率において重要な役割を果たすことが示されている。 ScaleNetは、限られたCIFAR-10データセットで、RotNetを約7%置き換えている。限られたデータを持つScaleNetモデルから転送されたパラメータは、RotNetモデルと比較して、ImageNet分類タスクを約6%改善する。本研究は,SimCLRのような他の最先端モデルを改善するためのScaleNet法の有効性を示す。

関連論文リスト

Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文参考訳（メタデータ） (2024-06-14T13:12:07Z)
Learning to Generate Parameters of ConvNets for Unseen Image Data [36.68392191824203]
ConvNetは大量の画像データに依存しており、ネットワークパラメータを学習するための反復最適化アルゴリズムを採用している。本稿では,新しい学習パラダイムを提案し,予測タスクにConvNetのパラメータ学習を定式化する。提案手法は,2種類の画像データセットに対して有効であることを示す。
論文参考訳（メタデータ） (2023-10-18T10:26:18Z)
Impact of Scaled Image on Robustness of Deep Neural Networks [0.0]
生画像のスケーリングはアウト・オブ・ディストリビューションデータを生成するため、ネットワークを騙すための敵攻撃の可能性がある。本研究では,ImageNet Challengeデータセットのサブセットを複数でスケーリングすることで,Scaling-DistortionデータセットのImageNet-CSを提案する。
論文参考訳（メタデータ） (2022-09-02T08:06:58Z)
Efficient deep learning models for land cover image classification [0.29748898344267777]
土地利用土地被覆(LULC)画像分類のためのBigEarthNetデータセットを用いて実験を行った。コンボリューションニューラルネットワーク、マルチ層パーセプトロン、ビジュアルトランスフォーマー、効率的なネットワーク、ワイド残留ネットワーク(WRN)など、さまざまな最先端モデルをベンチマークする。提案する軽量モデルは、訓練可能なパラメータが桁違いに小さく、平均的なFスコア分類精度が19のLULCクラスすべてに対して4.5%向上し、ベースラインとして使用するResNet50の2倍高速に訓練される。
論文参考訳（メタデータ） (2021-11-18T00:03:14Z)
Network Augmentation for Tiny Deep Learning [73.57192520534585]
ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。画像分類と物体検出におけるNetAugの有効性を示す。
論文参考訳（メタデータ） (2021-10-17T18:48:41Z)
Learnable Expansion-and-Compression Network for Few-shot Class-Incremental Learning [87.94561000910707]
破滅的忘れとモデルオーバーフィッティングの問題を解決するための学習可能な拡張・圧縮ネットワーク(LEC-Net)を提案する。 LEC-Netは機能の表現能力を拡大し、モデル正規化の観点から古いネットワークの特徴漂流を緩和します。 CUB/CIFAR-100データセットの実験では、LEC-Netがベースラインを57%改善し、最先端の56%を上回ります。
論文参考訳（メタデータ） (2021-04-06T04:34:21Z)
Revisiting ResNets: Improved Training and Scaling Strategies [54.0162571976267]
トレーニングとスケーリングの戦略は、アーキテクチャの変更よりも重要であり、その結果、ResNetは最新のモデルと一致します。ベストパフォーマンスなスケーリング戦略は、トレーニング体制に依存することを示します。私たちは、ResNetアーキテクチャのファミリー、ResNet-RSを設計します。ResNet-RSは、TPU上のEfficientNetsよりも1.7倍 - 2.7倍高速です。
論文参考訳（メタデータ） (2021-03-13T00:18:19Z)
Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文参考訳（メタデータ） (2020-10-02T16:50:26Z)
Multi-task pre-training of deep neural networks for digital pathology [8.74883469030132]
私たちはまず、多くのデジタル病理データセットを22の分類タスクと約900kの画像のプールに組み立て、変換しました。特徴抽出器として使用されるモデルは、ImageNet事前訓練されたモデルよりも大幅に改善されるか、同等のパフォーマンスを提供するかを示す。
論文参考訳（メタデータ） (2020-05-05T08:50:17Z)
DRU-net: An Efficient Deep Convolutional Neural Network for Medical Image Segmentation [2.3574651879602215]
残留ネットワーク(ResNet)と密結合ネットワーク(DenseNet)は、ディープ畳み込みニューラルネットワーク(DCNN)のトレーニング効率と性能を大幅に改善した。両ネットワークの利点を考慮した効率的なネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-04-28T12:16:24Z)
Improved Residual Networks for Image and Video Recognition [98.10703825716142]
ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。ベースライン上での精度と学習収束性を一貫した改善を示す。提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
論文参考訳（メタデータ） (2020-04-10T11:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。