論文の概要: Deep Features for CBIR with Scarce Data using Hebbian Learning
- arxiv url: http://arxiv.org/abs/2205.08935v1
- Date: Wed, 18 May 2022 14:00:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 12:42:22.680443
- Title: Deep Features for CBIR with Scarce Data using Hebbian Learning
- Title（参考訳）: Hebbian Learning を用いたスカースデータを用いたCBIRの深部特徴
- Authors: Gabriele Lagani, Davide Bacciu, Claudio Gallicchio, Fabrizio Falchi,
Claudio Gennaro, Giuseppe Amato
- Abstract要約: 本研究では,コンテンツベース画像検索(CBIR)タスクのための特徴抽出器の開発において,生物学的にインスピレーションを得たテキストHebbian学習アルゴリズムの性能について検討する。
具体的には、まず、教師なし事前学習段階、次に、画像データセット上でネットワークを微調整する2つのステップで、半教師付き学習戦略を考察する。
- 参考スコア（独自算出の注目度）: 17.57322804741561
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Features extracted from Deep Neural Networks (DNNs) have proven to be very
effective in the context of Content Based Image Retrieval (CBIR). In recent
work, biologically inspired \textit{Hebbian} learning algorithms have shown
promises for DNN training. In this contribution, we study the performance of
such algorithms in the development of feature extractors for CBIR tasks.
Specifically, we consider a semi-supervised learning strategy in two steps:
first, an unsupervised pre-training stage is performed using Hebbian learning
on the image dataset; second, the network is fine-tuned using supervised
Stochastic Gradient Descent (SGD) training. For the unsupervised pre-training
stage, we explore the nonlinear Hebbian Principal Component Analysis (HPCA)
learning rule. For the supervised fine-tuning stage, we assume sample
efficiency scenarios, in which the amount of labeled samples is just a small
fraction of the whole dataset. Our experimental analysis, conducted on the
CIFAR10 and CIFAR100 datasets shows that, when few labeled samples are
available, our Hebbian approach provides relevant improvements compared to
various alternative methods.
- Abstract（参考訳）: Deep Neural Networks (DNN) から抽出された特徴は、CBIR (Content Based Image Retrieval) の文脈で非常に有効であることが証明されている。
近年の研究では、生物学的にインスパイアされた‘textit{Hebbian}学習アルゴリズムがDNNトレーニングの可能性を示している。
本研究では,CBIRタスクの特徴抽出器の開発において,そのようなアルゴリズムの性能について検討する。
具体的には、教師なし事前学習段階を画像データセット上でヘビアン学習を用いて実行し、第2に、教師付き確率勾配 Descent (SGD) トレーニングを用いてネットワークを微調整する。
教師なし事前学習段階において,非線形 Hebbian principal Component Analysis (HPCA) 学習規則を検討する。
教師あり微調整の段階では、ラベル付きサンプルの量はデータセット全体のほんの一部に過ぎないというサンプル効率のシナリオを想定する。
CIFAR10 と CIFAR100 データセットを用いて行った実験分析により,ラベル付きサンプルが少ない場合,Hebbian のアプローチは,様々な代替手法と比較して,関連する改善をもたらすことが示された。
関連論文リスト
- Spanning Training Progress: Temporal Dual-Depth Scoring (TDDS) for Enhanced Dataset Pruning [50.809769498312434]
我々は、時間的デュアルディープス・スコーリング(TDDS)と呼ばれる新しいデータセット・プルーニング手法を提案する。
本手法は,10%のトレーニングデータで54.51%の精度を達成し,ランダム選択を7.83%以上,他の比較手法を12.69%以上上回る結果を得た。
論文 参考訳（メタデータ） (2023-11-22T03:45:30Z) - Learning Deep Representations via Contrastive Learning for Instance
Retrieval [11.736450745549792]
本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。
本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
論文 参考訳（メタデータ） (2022-09-28T04:36:34Z) - Activation to Saliency: Forming High-Quality Labels for Unsupervised
Salient Object Detection [54.92703325989853]
本稿では,高品質なサリエンシキューを効果的に生成する2段階アクティベーション・ツー・サリエンシ(A2S)フレームワークを提案する。
トレーニングプロセス全体において、私たちのフレームワークにヒューマンアノテーションは関与していません。
本フレームワークは,既存のUSOD法と比較して高い性能を示した。
論文 参考訳（メタデータ） (2021-12-07T11:54:06Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳（メタデータ） (2021-08-12T09:14:44Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Hebbian Semi-Supervised Learning in a Sample Efficiency Setting [10.026753669198108]
DCNN(Deep Convolutional Neural Networks)のための半監督型トレーニング戦略を提案する。
すべての内部層(畳み込み層と完全連結層)は、ヘビアン学習に基づく教師なしのアプローチを用いて事前訓練される。
論文 参考訳（メタデータ） (2021-03-16T11:57:52Z) - Training Convolutional Neural Networks With Hebbian Principal Component
Analysis [10.026753669198108]
ヘブリアン学習は、ニューラルネットワークの下層または高層を訓練するために使用することができる。
私たちは、HWTA(Hebbian Winner Takes All)戦略の代わりに、非線形のHebbianプリンシパルコンポーネント分析(HPCA)学習ルールを使用します。
特にHPCAルールは、CIFAR-10イメージデータセットから関連する特徴を抽出するために、畳み込みニューラルネットワークのトレーニングに使用される。
論文 参考訳（メタデータ） (2020-12-22T18:17:46Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳（メタデータ） (2020-05-08T01:59:23Z) - A Deep Unsupervised Feature Learning Spiking Neural Network with
Binarized Classification Layers for EMNIST Classification using SpykeFlow [0.0]
二成分アクティベーションを用いたスパイクタイミング依存塑性(STDP)の教師なし学習技術は、スパイク入力データから特徴を抽出するために用いられる。
バランスの取れたEMNISTデータセットに対するアキュラシーは、他のアプローチと好意的に比較した。
論文 参考訳（メタデータ） (2020-02-26T23:47:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。