論文の概要: Hebbian Semi-Supervised Learning in a Sample Efficiency Setting

• arxiv url: http://arxiv.org/abs/2103.09002v1
• Date: Tue, 16 Mar 2021 11:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-17 13:28:15.888828
• Title: Hebbian Semi-Supervised Learning in a Sample Efficiency Setting
• Title（参考訳）: サンプル効率設定における半教師付き学習
• Authors: Gabriele Lagani, Fabrizio Falchi, Claudio Gennaro, Giuseppe Amato
• Abstract要約: DCNN(Deep Convolutional Neural Networks)のための半監督型トレーニング戦略を提案する。 すべての内部層(畳み込み層と完全連結層)は、ヘビアン学習に基づく教師なしのアプローチを用いて事前訓練される。
• 参考スコア（独自算出の注目度）: 10.026753669198108
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose to address the issue of sample efficiency, in Deep Convolutional Neural Networks (DCNN), with a semisupervised training strategy that combines Hebbian learning with gradient descent: all internal layers (both convolutional and fully connected) are pre-trained using an unsupervised approach based on Hebbian learning, and the last fully connected layer (the classification layer) is using Stochastic Gradient Descent (SGD). In fact, as Hebbian learning is an unsupervised learning method, its potential lies in the possibility of training the internal layers of a DCNN without labeled examples. Only the final fully connected layer has to be trained with labeled examples. We performed experiments on various object recognition datasets, in different regimes of sample efficiency, comparing our semi-supervised (Hebbian for internal layers + SGD for the final fully layer) approach with end-to-end supervised backpropagation training. The results show that, in regimes where the number of available labeled samples is low, our semi-supervised approach outperforms full backpropagation in almost all the cases.
• Abstract（参考訳）: 我々は,Deep Convolutional Neural Networks (DCNN) において,Hebbianの学習と勾配勾配の学習を併用した半教師付きトレーニング戦略により,サンプル効率の問題に取り組むことを提案する: 内部層(畳み込みと完全連結の両方)は,Hebbianの学習に基づく教師なしアプローチを用いて事前訓練され,最後に完全に接続された層(分類層)はStochastic Gradient Descent (SGD) を用いている。 実際、Hebbian Learningは教師なしの学習方法であるため、その可能性は、ラベル付き例なしでDCNNの内部層をトレーニングする可能性にある。 最後の完全接続層のみがラベル付きサンプルでトレーニングされる必要がある。 サンプル効率の異なる各種オブジェクト認識データセットの実験を行い、半教師付き(内部層はHebbian、最終層はSGD)アプローチとエンドツーエンドの教師付きバックプロパゲーショントレーニングを比較した。 その結果, 使用可能なラベル付きサンプルの数が低い状況では, ほぼすべてのケースにおいて, 半監督的アプローチが完全なバックプロパゲーションを上回っていることがわかった。

関連論文リスト

• Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers [20.25049261035324]
  解析は、完全にトレーニング可能な層を持つ2層ReLU畳み込みニューラルネットワーク(CNN)に拡張する。 以上の結果から,出力層のスケーリングがトレーニングのダイナミックスに不可欠であることが示唆された。 どちらの設定でも、テストエラーの上限と下限にほぼ一致するものを提供します。
  論文  参考訳（メタデータ） (2024-10-24T20:15:45Z)
• Enhancing Out-of-Distribution Detection with Multitesting-based Layer-wise Feature Fusion [11.689517005768046]
  アウト・オブ・ディストリビューション(Out-of-distriion)サンプルは、トレーニング分布と比較して、局所的またはグローバルな特徴の変化を示す可能性がある。 本稿では,新しいフレームワーク,Multitesting-based Layer-wise Out-of-Distribution (OOD) を提案する。 本手法は, ベースライン法と比較して, 分布外検出の性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-03-16T04:35:04Z)
• Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning [76.00798972439004]
  Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。 半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
  論文  参考訳（メタデータ） (2023-10-24T05:37:20Z)
• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• HAVANA: Hard negAtiVe sAmples aware self-supervised coNtrastive leArning for Airborne laser scanning point clouds semantic segmentation [9.310873951428238]
  本研究は, セマンティックセグメンテーションのためのモデルを事前学習するための, 自己指導型コントラスト学習手法を提案する。 提案したHAVANA法は,教師付きパラダイム性能の94%をフルトレーニングセットで上回っている。
  論文  参考訳（メタデータ） (2022-10-19T15:05:17Z)
• Deep Features for CBIR with Scarce Data using Hebbian Learning [17.57322804741561]
  本研究では,コンテンツベース画像検索(CBIR)タスクのための特徴抽出器の開発において,生物学的にインスピレーションを得たテキストHebbian学習アルゴリズムの性能について検討する。 具体的には、まず、教師なし事前学習段階、次に、画像データセット上でネットワークを微調整する2つのステップで、半教師付き学習戦略を考察する。
  論文  参考訳（メタデータ） (2022-05-18T14:00:54Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)
• Improve SGD Training via Aligning Mini-batches [22.58823484394866]
  In-Training Distribution Matching (ITDM) は、ディープニューラルネットワーク(DNN)のトレーニングを改善し、オーバーフィッティングを減らすために提案されている。 具体的には、SGDの各イテレーションにおいて、異なるミニバッチの分布のモーメントを一致させて特徴抽出器を正規化する。
  論文  参考訳（メタデータ） (2020-02-23T15:10:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。