論文の概要: LowDINO -- A Low Parameter Self Supervised Learning Model
- arxiv url: http://arxiv.org/abs/2305.17791v1
- Date: Sun, 28 May 2023 18:34:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 16:37:02.635444
- Title: LowDINO -- A Low Parameter Self Supervised Learning Model
- Title(参考訳): LowDINO - 低パラメータ自己監督型学習モデル
- Authors: Sai Krishna Prathapaneni, Shvejan Shashank and Srikar Reddy K
- Abstract要約: 本研究は,小規模ネットワークが巨大ネットワークの特性を活用可能なニューラルネットワークアーキテクチャの設計の可能性を検討することを目的とする。
これまでの研究では、畳み込みニューラルネットワーク(ConvNet)を使用することで、固有の帰納バイアスが得られることが示されている。
パラメータの数を減らすために、MobileViTブロックを使用してアテンションメカニズムを利用する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This research aims to explore the possibility of designing a neural network
architecture that allows for small networks to adopt the properties of huge
networks, which have shown success in self-supervised learning (SSL), for all
the downstream tasks like image classification, segmentation, etc. Previous
studies have shown that using convolutional neural networks (ConvNets) can
provide inherent inductive bias, which is crucial for learning representations
in deep learning models. To reduce the number of parameters, attention
mechanisms are utilized through the usage of MobileViT blocks, resulting in a
model with less than 5 million parameters. The model is trained using
self-distillation with momentum encoder and a student-teacher architecture is
also employed, where the teacher weights use vision transformers (ViTs) from
recent SOTA SSL models. The model is trained on the ImageNet1k dataset. This
research provides an approach for designing smaller, more efficient neural
network architectures that can perform SSL tasks comparable to heavy models
- Abstract(参考訳): 本研究は,画像分類やセグメンテーションなどの下流タスクにおいて,ssl(self-supervised learning)が成功していることを示す巨大ネットワークの特性を,小ネットワークが適用可能なニューラルネットワークアーキテクチャを設計する可能性を検討することを目的とする。
従来の研究では、畳み込みニューラルネットワーク(ConvNets)を使用することで、深層学習モデルにおける表現の学習に欠かせない、固有の帰納バイアスが得られることが示されている。
パラメータ数を減らすために、mobilevitブロックの使用によって注意メカニズムが利用され、結果として500万未満のパラメータを持つモデルが生成される。
このモデルは、運動量エンコーダを用いた自己蒸留を用いて訓練され、教師の重み付けでは、最近のSOTA SSLモデルから視覚変換器(ViT)を使用する。
モデルはImageNet1kデータセットでトレーニングされる。
この研究は、重モデルに匹敵するSSLタスクを実行できる、より小さく、より効率的なニューラルネットワークアーキテクチャを設計するためのアプローチを提供する。
関連論文リスト
- Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - On the Steganographic Capacity of Selected Learning Models [1.0640226829362012]
本稿では,学習モデルの聴取能力について考察する。
幅広いモデルに対して、上書き可能な低次ビットの数を決定する。
テスト対象モデルのうち, LR実験では7.04KB, InceptionV3では44.74MBであった。
論文 参考訳(メタデータ) (2023-08-29T10:41:34Z) - NCTV: Neural Clamping Toolkit and Visualization for Neural Network
Calibration [66.22668336495175]
ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。
我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
論文 参考訳(メタデータ) (2022-11-29T15:03:05Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - Effective Self-supervised Pre-training on Low-compute Networks without
Distillation [6.530011859253459]
報告された自己教師型学習のパフォーマンスは、標準的な教師付き事前学習よりも大きなマージンで遅れている。
以前の作業のほとんどは、低スループットネットワークのキャパシティボトルネックによるパフォーマンスの低下を理由としている。
我々は、現実的な制約の原因となる有害要因と、それらが自己監督型低コンプット設定に固有のものであるかどうかについて、より詳しく検討する。
論文 参考訳(メタデータ) (2022-10-06T10:38:07Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Network Augmentation for Tiny Deep Learning [73.57192520534585]
ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。
画像分類と物体検出におけるNetAugの有効性を示す。
論文 参考訳(メタデータ) (2021-10-17T18:48:41Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳(メタデータ) (2021-06-24T01:40:17Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - The Self-Simplifying Machine: Exploiting the Structure of Piecewise
Linear Neural Networks to Create Interpretable Models [0.0]
本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。
我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。
これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
論文 参考訳(メタデータ) (2020-12-02T16:02:14Z) - Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。
我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。
これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文 参考訳(メタデータ) (2020-02-25T10:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。