論文の概要: Semi-Supervised Learning for Image Classification using Compact Networks
in the BioMedical Context
- arxiv url: http://arxiv.org/abs/2205.09678v1
- Date: Thu, 19 May 2022 16:36:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 11:56:59.540613
- Title: Semi-Supervised Learning for Image Classification using Compact Networks
in the BioMedical Context
- Title（参考訳）: コンパクトネットワークを用いた画像分類のための半教師あり学習
- Authors: Adri\'an In\'es, Andr\'es D\'iaz-Pinto, C\'esar Dom\'inguez,
J\'onathan Heras, Eloy Mata and Vico Pascual
- Abstract要約: ディープラーニングモデルは、スマートフォンやエッジデバイスでは利用できない計算リソースを必要とする。
本研究では,この制限を半教師付き学習手法の適用によってどのように対処できるかを考察する。
特に、コンパクトネットワークの3つのファミリーと、バイオメディカルタスク10の半教師あり学習技術の2つのファミリーを探索する。
- 参考スコア（独自算出の注目度）: 1.0765359420035392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development of mobile and on the edge applications that embed deep
convolutional neural models has the potential to revolutionise biomedicine.
However, most deep learning models require computational resources that are not
available in smartphones or edge devices; an issue that can be faced by means
of compact models. The problem with such models is that they are, at least
usually, less accurate than bigger models. In this work, we study how this
limitation can be addressed with the application of semi-supervised learning
techniques. We conduct several statistical analyses to compare performance of
deep compact architectures when trained using semi-supervised learning methods
for tackling image classification tasks in the biomedical context. In
particular, we explore three families of compact networks, and two families of
semi-supervised learning techniques for 10 biomedical tasks. By combining
semi-supervised learning methods with compact networks, it is possible to
obtain a similar performance to standard size networks. In general, the best
results are obtained when combining data distillation with MixNet, and plain
distillation with ResNet-18. Also, in general, NAS networks obtain better
results than manually designed networks and quantized networks. The work
presented in this paper shows the benefits of apply semi-supervised methods to
compact networks; this allow us to create compact models that are not only as
accurate as standard size models, but also faster and lighter. Finally, we have
developed a library that simplifies the construction of compact models using
semi-supervised learning methods.
- Abstract（参考訳）: 深層畳み込みニューラルネットワークを組み込んだモバイルおよびエッジアプリケーションの開発は、バイオメディシンに革命をもたらす可能性がある。
しかし、ほとんどのディープラーニングモデルはスマートフォンやエッジデバイスでは利用できない計算資源を必要とする。
このようなモデルの問題は、少なくとも通常、大きなモデルよりも精度が低いことである。
本研究では,この制限が半教師付き学習手法の応用にどのように対処できるかを考察する。
半教師あり学習法を用いて生物医学的文脈における画像分類タスクに取り組む際に,深層コンパクトアーキテクチャの性能を比較するために,いくつかの統計解析を行った。
特に,コンパクトネットワークの3つのファミリーと,半教師付き学習技法の2つのファミリーについて検討した。
半教師付き学習法とコンパクトネットワークを組み合わせることで、標準サイズネットワークと同様の性能を得ることができる。
一般に, データ蒸留をMixNet, プレーン蒸留とResNet-18を併用した場合に最もよい結果が得られる。
また、一般にNASネットワークは、手動設計のネットワークや量子化されたネットワークよりも優れた結果が得られる。
本稿では,コンパクトネットワークに半教師付き手法を適用することの利点を示す。これにより,標準サイズモデルほど正確ではなく,より高速かつ軽量なコンパクトモデルを構築することができる。
最後に,半教師付き学習手法を用いてコンパクトモデルの構築を単純化するライブラリを開発した。
関連論文リスト
- Convolutional Networks as Extremely Small Foundation Models: Visual Prompting and Theoretical Perspective [1.79487674052027]
本稿では,汎用的なディープネットワークを新たなタスクに適応させるプロンプトモジュールを設計する。
学習理論によって駆動され、同じトレーニングエラーの下でより良く一般化されるように、可能な限りシンプルなモジュールを誘導する。
実際、SDForestは非常に低コストで、CPUでもリアルタイムに実現できる。
論文 参考訳（メタデータ） (2024-09-03T12:34:23Z) - Masked LoGoNet: Fast and Accurate 3D Image Analysis for Medical Domain [48.440691680864745]
我々はLoGoNetと呼ばれる新しいニューラルネットワークアーキテクチャを導入する。
LoGoNetは、LKA(Large Kernel Attention)とデュアルエンコーディング戦略を利用して、U字型アーキテクチャに新しい特徴抽出器を統合する。
大規模ラベル付きデータセットの欠如を補うために,3次元画像に適した新しいSSL方式を提案する。
論文 参考訳（メタデータ） (2024-02-09T05:06:58Z) - LowDINO -- A Low Parameter Self Supervised Learning Model [0.0]
本研究は,小規模ネットワークが巨大ネットワークの特性を活用可能なニューラルネットワークアーキテクチャの設計の可能性を検討することを目的とする。
これまでの研究では、畳み込みニューラルネットワーク(ConvNet)を使用することで、固有の帰納バイアスが得られることが示されている。
パラメータの数を減らすために、MobileViTブロックを使用してアテンションメカニズムを利用する。
論文 参考訳（メタデータ） (2023-05-28T18:34:59Z) - Multi-domain learning CNN model for microscopy image classification [3.2835754110596236]
顕微鏡画像の分類のためのマルチドメイン学習アーキテクチャを提案する。
計算集約的な従来の方法とは異なり、Mobincepと呼ばれるコンパクトモデルを開発した。
最先端の結果を超え、ラベル付きデータに対して堅牢である。
論文 参考訳（メタデータ） (2023-04-20T19:32:23Z) - Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。
我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。
実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文 参考訳（メタデータ） (2022-09-15T15:41:47Z) - PRANC: Pseudo RAndom Networks for Compacting deep models [22.793523211040682]
PRANCはディープモデルの大幅なコンパクト化を可能にする。
本研究では,PRANCを用いて画像分類モデルを構築し,関連する暗黙的ニューラルネットワークをコンパクト化することで画像の圧縮を行う。
論文 参考訳（メタデータ） (2022-06-16T22:03:35Z) - Adaptive Convolutional Dictionary Network for CT Metal Artifact
Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。
我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。
本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文 参考訳（メタデータ） (2022-05-16T06:49:36Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。