Fugu-MT 論文翻訳(概要): Few-shot learning using pre-training and shots, enriched by pre-trained samples

論文の概要: Few-shot learning using pre-training and shots, enriched by pre-trained samples

arxiv url: http://arxiv.org/abs/2009.09172v1
Date: Sat, 19 Sep 2020 06:08:07 GMT
ステータス: 処理完了
システム内更新日: 2022-10-16 21:01:21.646817
Title: Few-shot learning using pre-training and shots, enriched by pre-trained samples
Title（参考訳）: プレトレーニングとショットを用いた少数ショット学習 : プレトレーニングサンプルによる強化
Authors: Detlef Schmicker
Abstract要約: 我々は手書き桁のEMNISTデータセットを用いて、数ショット学習のための簡単なアプローチをテストする。完全に接続されたニューラルネットワークは、10桁のサブセットで事前訓練され、訓練されていない桁で数ショットの学習に使用される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We use the EMNIST dataset of handwritten digits to test a simple approach for few-shot learning. A fully connected neural network is pre-trained with a subset of the 10 digits and used for few-shot learning with untrained digits. Two basic ideas are introduced: during few-shot learning the learning of the first layer is disabled, and for every shot a previously unknown digit is used together with four previously trained digits for the gradient descend, until a predefined threshold condition is fulfilled. This way we reach about 90% accuracy after 10 shots.
Abstract（参考訳）: 我々は手書き桁のEMNISTデータセットを用いて、数ショット学習のための簡単なアプローチをテストする。完全に接続されたニューラルネットワークは、10桁のサブセットで事前トレーニングされ、未訓練の桁で少数ショットの学習に使用される。 2つの基本的な考え方が導入された: 数ショットの学習において、第1層の学習は無効となり、すべてのショットにおいて、予め定義されたしきい値条件を満たすまで、予め訓練された4つの桁と共に、予め未知の桁が使用される。こうして10発の撮影で90%の精度が得られます。

関連論文リスト

Applications of Sequential Learning for Medical Image Classification [0.13191970195165517]
我々は,少量の医用画像データの連続的トレーニングのためのニューラルネットワークトレーニングフレームワークを開発した。過度な適合、破滅的な忘れ、概念の漂流といった、逐次学習を妨げる問題に対処する。
論文参考訳（メタデータ） (2023-09-26T00:46:25Z)
Neural Priming for Sample-Efficient Adaptation [92.14357804106787]
ニューラルプライミング(Neural Priming)は、大規模な事前学習されたモデルを分散シフトや下流タスクに適応させる手法である。ニューラルプライミングは、LAION-2Bほどの大きさの事前訓練であっても、テスト時に行うことができる。
論文参考訳（メタデータ） (2023-06-16T21:53:16Z)
On Measuring the Intrinsic Few-Shot Hardness of Datasets [49.37562545777455]
トレーニング済みのモデルに対して、データセットに固有の数ショットの硬さを示す。そこで我々は,数発の学習が可能な直感をとらえる,シンプルで軽量な尺度"Spread"を提案する。我々の測定基準は、既存の硬さの概念に比べて数発の硬さを考慮し、計算が8～100倍高速である。
論文参考訳（メタデータ） (2022-11-16T18:53:52Z)
Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
論文参考訳（メタデータ） (2022-04-29T19:18:37Z)
Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。本手法は画像内情報と画像間情報の両方を利用する。トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文参考訳（メタデータ） (2021-04-01T08:09:26Z)
Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文参考訳（メタデータ） (2021-03-30T18:11:30Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文参考訳（メタデータ） (2020-08-21T19:35:54Z)
OvA-INN: Continual Learning with Invertible Neural Networks [0.0]
OvA-INNは、一度に1つのクラスを学習でき、以前のデータを格納しない。特徴抽出器上にInvertible Networkを積み重ねることで,事前学習モデルの活用が可能であることを示す。
論文参考訳（メタデータ） (2020-06-24T14:40:05Z)
Empirical Perspectives on One-Shot Semi-supervised Learning [0.0]
新しいアプリケーションにディープニューラルネットワークを採用する際の最大の障害の1つは、ネットワークのトレーニングが通常、多数の手作業によるトレーニングサンプルを必要とすることである。ディープネットワークをトレーニングするためには、大量のラベル付きデータにアクセスするが、クラス毎に1つのサンプルのみをラベル付けする必要があるシナリオを実証的に検討する。
論文参考訳（メタデータ） (2020-04-08T17:51:06Z)
Predicting Neural Network Accuracy from Weights [25.73213712719546]
トレーニングされたニューラルネットワークの精度は、その重みだけを見て驚くほど正確に予測できることを実験的に示す。この分野のさらなる研究を促進するために、4つの異なるデータセットでトレーニングされた120kの畳み込みニューラルネットワークのコレクションをリリースする。
論文参考訳（メタデータ） (2020-02-26T13:06:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。