論文の概要: Efficient Learning of Model Weights via Changing Features During
Training
- arxiv url: http://arxiv.org/abs/2002.09249v1
- Date: Fri, 21 Feb 2020 12:38:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 00:14:31.433051
- Title: Efficient Learning of Model Weights via Changing Features During
Training
- Title(参考訳): 訓練中の特徴変化によるモデル重みの効率的な学習
- Authors: Marcell Beregi-Kov\'acs, \'Agnes Baran and Andr\'as Hajdu
- Abstract要約: 学習中の特徴を動的に変化させる機械学習モデルを提案する。
私たちの主な動機は、トレーニングプロセス中に小さなコンテンツでモデルを更新し、より説明力の少ない機能を大きなプールから新しいものに置き換えることです。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a machine learning model, which dynamically changes
the features during training. Our main motivation is to update the model in a
small content during the training process with replacing less descriptive
features to new ones from a large pool. The main benefit is coming from the
fact that opposite to the common practice we do not start training a new model
from the scratch, but can keep the already learned weights. This procedure
allows the scan of a large feature pool which together with keeping the
complexity of the model leads to an increase of the model accuracy within the
same training time. The efficiency of our approach is demonstrated in several
classic machine learning scenarios including linear regression and neural
network-based training. As a specific analysis towards signal processing, we
have successfully tested our approach on the database MNIST for digit
classification considering single pixel and pixel-pairs intensities as possible
features.
- Abstract(参考訳): 本稿では,学習中の特徴を動的に変化させる機械学習モデルを提案する。
私たちの主な動機は、トレーニングプロセス中にモデルを小さなコンテントで更新し、記述性の少ない機能を大きなプールから新しいものに置き換えることです。
大きなメリットは、一般的なプラクティスとは反対に、新しいモデルをスクラッチからトレーニングし始めるのではなく、既に学習済みの重みを維持できるという事実にあります。
この方法では、モデルの複雑さを維持するとともに、同じトレーニング時間内にモデルの精度が向上する大きな特徴プールをスキャンすることができる。
線形回帰やニューラルネットワークに基づくトレーニングを含む,古典的な機械学習シナリオにおいて,本手法の有効性を実証した。
信号処理に対する具体的分析として,単一画素と画素ペアの強度を可能な特徴として,数値分類のためのデータベースmnistの手法を検証した。
関連論文リスト
- Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Initializing Models with Larger Ones [76.41561758293055]
事前訓練された大モデルから重みのサブセットを選択することにより、より小さなモデルを初期化する手法である重み選択を導入する。
実験により, 重量選択は小型モデルの性能を著しく向上し, トレーニング時間を短縮できることが示された。
論文 参考訳(メタデータ) (2023-11-30T18:58:26Z) - EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文 参考訳(メタデータ) (2022-11-17T17:38:55Z) - A Simple Baseline that Questions the Use of Pretrained-Models in
Continual Learning [30.023047201419825]
いくつかの手法は、事前訓練された表現に基づいて連続学習機構を設計し、継続学習のトレーニング中に最小限のアップデートやバックボーンモデルの更新を許可しない。
我々は、事前訓練された特徴抽出器自体が、Split-CIFAR100およびCoRe 50ベンチマーク上での競争力や継続学習性能を達成するのに十分な強度を持つと論じる。
このベースラインは10-Split-CIFAR-100で88.53%を達成した。
論文 参考訳(メタデータ) (2022-10-10T04:19:53Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳(メタデータ) (2021-07-15T02:53:11Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Deep Active Learning in Remote Sensing for data efficient Change
Detection [26.136331738529243]
本研究では、変化検出とマップ更新のための深層ニューラルネットワークモデルの文脈におけるアクティブラーニングについて検討する。
アクティブな学習では、最小限のトレーニング例から始まり、ユーザによって注釈付けされた情報的サンプルを徐々に選択する。
能動学習は,高い情報的サンプルの発見に成功し,自動的にトレーニング分布のバランスをとることを示す。
論文 参考訳(メタデータ) (2020-08-25T17:58:17Z) - Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。
クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文 参考訳(メタデータ) (2020-07-09T09:06:31Z) - Multi-task pre-training of deep neural networks for digital pathology [8.74883469030132]
私たちはまず、多くのデジタル病理データセットを22の分類タスクと約900kの画像のプールに組み立て、変換しました。
特徴抽出器として使用されるモデルは、ImageNet事前訓練されたモデルよりも大幅に改善されるか、同等のパフォーマンスを提供するかを示す。
論文 参考訳(メタデータ) (2020-05-05T08:50:17Z) - Neural Network Retraining for Model Serving [32.857847595096025]
我々は、推論における新しいデータの継続的な流れに対応するために、ニューラルネットワークモデルの漸進的(再)トレーニングを提案する。
破滅的な再トレーニングと効率的な再トレーニングの2つの課題に対処する。
論文 参考訳(メタデータ) (2020-04-29T13:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。