論文の概要: A Comprehensive Study on Torchvision Pre-trained Models for Fine-grained
Inter-species Classification
- arxiv url: http://arxiv.org/abs/2110.07097v1
- Date: Thu, 14 Oct 2021 00:36:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-15 13:27:32.984422
- Title: A Comprehensive Study on Torchvision Pre-trained Models for Fine-grained
Inter-species Classification
- Title(参考訳): 微細な種間分類のためのトーチビジョン事前訓練モデルに関する総合的研究
- Authors: Feras Albardi, H M Dipu Kabir, Md Mahbub Islam Bhuiyan, Parham M.
Kebria, Abbas Khosravi, Saeid Nahavandi
- Abstract要約: 本研究の目的は,PyTorchライブラリで利用可能なTorchvisionパッケージで提供される,さまざまな事前学習モデルを検討することである。
猿10種, 鳥225種, 果実360種, オックスフォード102花の4つの異なるデータセット上で, 事前学習したTorchvisionモデルについて検討した。
また、SpinalNetの有効性を検討するために、通常の完全接続層とSpinal完全接続層を適用した。
- 参考スコア(独自算出の注目度): 12.917749344429524
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This study aims to explore different pre-trained models offered in the
Torchvision package which is available in the PyTorch library. And investigate
their effectiveness on fine-grained images classification. Transfer Learning is
an effective method of achieving extremely good performance with insufficient
training data. In many real-world situations, people cannot collect sufficient
data required to train a deep neural network model efficiently. Transfer
Learning models are pre-trained on a large data set, and can bring a good
performance on smaller datasets with significantly lower training time.
Torchvision package offers us many models to apply the Transfer Learning on
smaller datasets. Therefore, researchers may need a guideline for the selection
of a good model. We investigate Torchvision pre-trained models on four
different data sets: 10 Monkey Species, 225 Bird Species, Fruits 360, and
Oxford 102 Flowers. These data sets have images of different resolutions, class
numbers, and different achievable accuracies. We also apply their usual
fully-connected layer and the Spinal fully-connected layer to investigate the
effectiveness of SpinalNet. The Spinal fully-connected layer brings better
performance in most situations. We apply the same augmentation for different
models for the same data set for a fair comparison. This paper may help future
Computer Vision researchers in choosing a proper Transfer Learning model.
- Abstract(参考訳): 本研究の目的は,PyTorchライブラリで利用可能なTorchvisionパッケージで提供される,さまざまな事前学習モデルを検討することである。
きめ細かい画像分類における効果について検討する。
転送学習は、不十分なトレーニングデータで非常に優れたパフォーマンスを達成する効果的な方法である。
多くの現実の状況では、ディープニューラルネットワークモデルを効率的にトレーニングするために必要な十分なデータを収集できない。
トランスファーラーニングモデルは大規模なデータセットで事前トレーニングされており、トレーニング時間を大幅に短縮した小さなデータセットで優れたパフォーマンスを得ることができる。
Torchvisionパッケージは、小さなデータセットにTransfer Learningを適用するための多くのモデルを提供します。
したがって、研究者は良いモデルを選ぶためのガイドラインを必要とするかもしれない。
猿10種, 鳥225種, 果実360種, オックスフォード102花の4つの異なるデータセットを用いて, 事前学習モデルについて検討した。
これらのデータセットには、異なる解像度、クラス番号、異なる達成可能な精度の画像がある。
また,通常の完全連結層と脊柱完全連結層を用いて,脊柱ネットの有効性について検討した。
Spinalの完全接続層は、ほとんどの状況でパフォーマンスが向上する。
同じデータセットの異なるモデルに対して、公平な比較のために同じ拡張を適用する。
本稿では,将来のコンピュータビジョン研究者が適切なトランスファー学習モデルを選択するのに役立つかもしれない。
関連論文リスト
- Comparison of self-supervised in-domain and supervised out-domain transfer learning for bird species recognition [0.19183348587701113]
別のタスクを支援するために事前訓練されたモデルの重みを移すことは、現代のディープラーニングの重要な部分となっている。
本実験は,鳥種認識のためのドメイン内モデルとデータセットの有用性を実証するものである。
論文 参考訳(メタデータ) (2024-04-26T08:47:28Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳(メタデータ) (2023-11-03T17:29:46Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳(メタデータ) (2023-11-02T01:51:43Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - KNN-Diffusion: Image Generation via Large-Scale Retrieval [40.6656651653888]
適応する学習は、いくつかの新しい機能を可能にします。
微調整の訓練されたモデルと新しいサンプルは、単にテーブルに追加するだけで実現できる。
我々の拡散モデルでは、共同のテキスト・イメージ・マルチモーダル・メトリックを利用することで、画像のみを訓練する。
論文 参考訳(メタデータ) (2022-04-06T14:13:35Z) - Intra-domain and cross-domain transfer learning for time series data --
How transferable are the features? [0.0]
本研究の目的は,時系列データの異なる領域間において,転送可能がどのような特徴を持つかを評価することである。
伝達学習の効果は,モデルの予測性能と学習時の収束率の観点から観察される。
論文 参考訳(メタデータ) (2022-01-12T12:55:21Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳(メタデータ) (2021-11-26T11:58:51Z) - Multi network InfoMax: A pre-training method involving graph
convolutional networks [0.0]
本稿では,グラフ畳み込み/ニューラルネットワーク(GCN/GNN)を含む事前学習手法を提案する。
学習された高レベルグラフ潜在表現は、下流グラフ分類タスクのパフォーマンス向上に役立つ。
我々は、被験者を健康管理群(HC)と統合失調症群(SZ)に分類するための神経画像データセットに適用した。
論文 参考訳(メタデータ) (2021-11-01T21:53:20Z) - Zoo-Tuning: Adaptive Transfer from a Zoo of Models [82.9120546160422]
Zoo-Tuningは、事前訓練されたモデルのパラメータをターゲットタスクに適応的に転送することを学ぶ。
我々は、強化学習、画像分類、顔のランドマーク検出など、様々なタスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2021-06-29T14:09:45Z) - Unsupervised Pre-trained Models from Healthy ADLs Improve Parkinson's
Disease Classification of Gait Patterns [3.5939555573102857]
パーキンソン病分類のための加速度計歩行データに関連する特徴を抽出する方法を示す。
我々の事前学習したソースモデルは畳み込みオートエンコーダで構成されており、ターゲット分類モデルは単純な多層パーセプトロンモデルである。
本研究は,Parkinson病分類の課題に対する事前学習モデルの選択が与える影響を,異なる活動群を用いて訓練した2つの異なるソースモデルについて検討する。
論文 参考訳(メタデータ) (2020-05-06T04:08:19Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳(メタデータ) (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。