Fugu-MT 論文翻訳(概要): Some like it tough: Improving model generalization via progressively increasing the training difficulty

論文の概要: Some like it tough: Improving model generalization via progressively increasing the training difficulty

arxiv url: http://arxiv.org/abs/2110.13058v1
Date: Mon, 25 Oct 2021 15:54:21 GMT
ステータス: 処理完了
システム内更新日: 2021-10-26 16:47:14.239914
Title: Some like it tough: Improving model generalization via progressively increasing the training difficulty
Title（参考訳）: トレーニングの難しさを徐々に増加させることによるモデル一般化の改善
Authors: Hannes Fassold
Abstract要約: 本稿では,ニューラルネットワークモデル学習における学習難度を,新たな戦略により徐々に向上させることを提案する。この戦略は、後のトレーニング段階で、より難しいサンプルに集中することを確実にします。いくつかの画像分類問題に対する実験は、ミニバッチトリミングが一般化能力を高めることを示している。
参考スコア（独自算出の注目度）: 3.04585143845864
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work, we propose to progressively increase the training difficulty during learning a neural network model via a novel strategy which we call mini-batch trimming. This strategy makes sure that the optimizer puts its focus in the later training stages on the more difficult samples, which we identify as the ones with the highest loss in the current mini-batch. The strategy is very easy to integrate into an existing training pipeline and does not necessitate a change of the network model. Experiments on several image classification problems show that mini-batch trimming is able to increase the generalization ability (measured via final test error) of the trained model.
Abstract（参考訳）: 本研究では,ミニバッチトリミングと呼ばれる新しい戦略により,ニューラルネットワークモデルを学習する際のトレーニングの難しさを徐々に高めることを提案する。この戦略により、オプティマイザは、後のトレーニングステージにおいて、より難しいサンプルに焦点を合わせます。この戦略は既存のトレーニングパイプラインへの統合が非常に簡単であり、ネットワークモデルの変更を必要としない。いくつかの画像分類問題に関する実験により、ミニバッチトリミングにより、訓練されたモデルの一般化能力(最終テストエラーによる測定)が向上できることが示されている。

関連論文リスト

Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。モデルの内部構造ブロックを利用して効率を向上させることを提案する。従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文参考訳（メタデータ） (2023-10-24T01:36:20Z)
Domain Generalization via Balancing Training Difficulty and Model Capability [61.053202176230904]
ドメイン一般化(Domain Generalization, DG)は、1つまたは複数のソースドメインからドメイン一般化可能なモデルを学習することを目的としている。最近の進歩にもかかわらず、既存の作業の多くは、トレーニングサンプルの難易度と、現代的に訓練されたモデルの能力の相違に悩まされている。我々は、モデルの能力とサンプルの難易度の間のシーソーのバランスをとることで、ミスアライメントに対処するMomentum DifficultyフレームワークであるMoDifyを設計する。
論文参考訳（メタデータ） (2023-09-02T07:09:23Z)
Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks [55.431048995662714]
我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
論文参考訳（メタデータ） (2023-01-27T06:49:47Z)
MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
論文参考訳（メタデータ） (2021-03-30T09:33:38Z)
Few-Shot Image Classification via Contrastive Self-Supervised Learning [5.878021051195956]
本稿では,欠陥を修復するための教師なし数発学習の新たなパラダイムを提案する。我々は2つのフェーズでいくつかの課題を解決した: 対照的な自己教師付き学習を通して、伝達可能な特徴抽出器をメタトレーニングする。本手法は,標準的な数ショットの視覚的分類データセット上で,多数の確立された数ショットタスクにおいて,最先端の性能を実現する。
論文参考訳（メタデータ） (2020-08-23T02:24:31Z)
Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification [62.10696018098057]
そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
論文参考訳（メタデータ） (2020-07-13T08:49:00Z)
Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification [8.998976678920236]
本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
論文参考訳（メタデータ） (2020-07-09T18:03:12Z)
Dynamic Sampling for Deep Metric Learning [7.010669841466896]
深度メートル法学習は、視覚的に類似した画像を近くの場所にマッピングし、埋め込み多様体内の互いに視覚的に異なる画像を分離する。トレーニングペアをネットワークに送受信し易い順に整理する動的サンプリング戦略を提案する。これにより、ネットワークは、初期の簡単なトレーニングペアからカテゴリ間の一般的な境界を学習し、後のハードトレーニングサンプルに主に依存したモデルの詳細を確定することができる。
論文参考訳（メタデータ） (2020-04-24T09:47:23Z)
Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
論文参考訳（メタデータ） (2020-04-13T10:47:02Z)
Self-Augmentation: Generalizing Deep Networks to Unseen Classes for Few-Shot Learning [21.3564383157159]
ほとんどショット学習は、未確認のクラスをいくつかのトレーニング例で分類することを目的としている。自己混合と自己蒸留を統合した自己拡張を提案する。本稿では,未確認クラスの学習例をさらに活用するために,局所学習者表現を提案する。
論文参考訳（メタデータ） (2020-04-01T06:39:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。