Fugu-MT 論文翻訳(概要): Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier

論文の概要: Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier

arxiv url: http://arxiv.org/abs/2106.10974v1
Date: Mon, 21 Jun 2021 10:50:34 GMT
ステータス: 処理完了
システム内更新日: 2021-06-22 15:22:24.138373
Title: Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier
Title（参考訳）: フレンドリーなトレーニング:ニューラルネットワークがデータに適応して学習を容易にする
Authors: Simone Marullo, Matteo Tiezzi, Marco Gori, Stefano Melacci
Abstract要約: フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
参考スコア（独自算出の注目度）: 23.886422706697882
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the last decade, motivated by the success of Deep Learning, the scientific community proposed several approaches to make the learning procedure of Neural Networks more effective. When focussing on the way in which the training data are provided to the learning machine, we can distinguish between the classic random selection of stochastic gradient-based optimization and more involved techniques that devise curricula to organize data, and progressively increase the complexity of the training set. In this paper, we propose a novel training procedure named Friendly Training that, differently from the aforementioned approaches, involves altering the training examples in order to help the model to better fulfil its learning criterion. The model is allowed to simplify those examples that are too hard to be classified at a certain stage of the training procedure. The data transformation is controlled by a developmental plan that progressively reduces its impact during training, until it completely vanishes. In a sense, this is the opposite of what is commonly done in order to increase robustness against adversarial examples, i.e., Adversarial Training. Experiments on multiple datasets are provided, showing that Friendly Training yields improvements with respect to informed data sub-selection routines and random selection, especially in deep convolutional architectures. Results suggest that adapting the input data is a feasible way to stabilize learning and improve the generalization skills of the network.
Abstract（参考訳）: この10年間で、Deep Learningの成功に動機づけられた科学コミュニティは、ニューラルネットワークの学習手順をより効果的にするためのいくつかのアプローチを提案した。学習機械にトレーニングデータを提供する方法に焦点を合わせると、確率的勾配に基づく最適化の古典的なランダムな選択と、データを整理するキュリキュラを考案するより複雑なテクニックを区別し、トレーニングセットの複雑さを徐々に増すことができる。本稿では,前述した手法と異なり,モデルが学習基準を満たすのを助けるために,トレーニング例を変更することを含む,フレンドリートレーニングという新しいトレーニング手順を提案する。このモデルは、トレーニング手順の特定の段階で分類するのが難しい例を単純化することが許されている。データ変換は、トレーニング中に徐々に影響を減らし、完全に消滅するまで、開発計画によって制御されます。ある意味では、これは敵の例、すなわち敵の訓練に対する堅牢性を高めるために一般的に行われていることとは逆である。複数のデータセットに関する実験を行い、特に深い畳み込みアーキテクチャにおいて、インフォームドデータ選択ルーチンとランダム選択に関して、フレンドリーなトレーニングが改善をもたらすことを示した。その結果,入力データの適応は学習を安定させ,ネットワークの一般化スキルを向上させるための有効な方法であることが示唆された。

関連論文リスト

EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
訓練カリキュラムをソフトセレクション機能として再構築する。自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
論文参考訳（メタデータ） (2024-05-14T17:00:43Z)
Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文参考訳（メタデータ） (2023-06-05T15:11:59Z)
BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
論文参考訳（メタデータ） (2022-02-21T10:34:41Z)
Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文参考訳（メタデータ） (2022-02-04T14:12:31Z)
Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks [23.886422706697882]
フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
論文参考訳（メタデータ） (2021-12-18T16:59:35Z)
Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
論文参考訳（メタデータ） (2021-12-02T17:11:33Z)
Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond [59.94347858883343]
このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
論文参考訳（メタデータ） (2021-09-06T21:31:42Z)
Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
論文参考訳（メタデータ） (2021-01-21T17:17:30Z)
Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。パターン認識型メタラーニング手法を提案する。
論文参考訳（メタデータ） (2020-10-19T08:06:47Z)
Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization [8.432864879027724]
少量のデータでディープニューラルネットワークをトレーニングすることは、難しい問題である。私たちがよく直面する現実的な難題の1つは、多くのサンプルを集めることです。大規模なデータセットでトレーニングされたソースモデルを使用することで、トレーニングデータの不足に起因する過度な適合を軽減することができる。
論文参考訳（メタデータ） (2020-07-10T06:02:05Z)
Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。