論文の概要: Evolving parametrized Loss for Image Classification Learning on Small Datasets

• arxiv url: http://arxiv.org/abs/2103.08249v1
• Date: Mon, 15 Mar 2021 10:00:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 14:13:20.239049
• Title: Evolving parametrized Loss for Image Classification Learning on Small Datasets
• Title（参考訳）: 小型データセットを用いた画像分類学習のためのパラメトリズドロスの進化
• Authors: Zhaoyang Hai, Xiabi Liu
• Abstract要約: 本稿では,メタロスネットワーク(MLN)と呼ばれるパラメータ化損失関数を進化させるメタラーニング手法を提案する。 私たちのアプローチでは、MLNは微分可能な客観的関数として分類学習のフレームワークに埋め込まれています。 実験の結果,MLNは古典的クロスエントロピー誤差や平均二乗誤差と比較して,一般化を効果的に改善した。
• 参考スコア（独自算出の注目度）: 1.5076964620370268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a meta-learning approach to evolving a parametrized loss function, which is called Meta-Loss Network (MLN), for training the image classification learning on small datasets. In our approach, the MLN is embedded in the framework of classification learning as a differentiable objective function. The MLN is evolved with the Evolutionary Strategy algorithm (ES) to an optimized loss function, such that a classifier, which optimized to minimize this loss, will achieve a good generalization effect. A classifier learns on a small training dataset to minimize MLN with Stochastic Gradient Descent (SGD), and then the MLN is evolved with the precision of the small-dataset-updated classifier on a large validation dataset. In order to evaluate our approach, the MLN is trained with a large number of small sample learning tasks sampled from FashionMNIST and tested on validation tasks sampled from FashionMNIST and CIFAR10. Experiment results demonstrate that the MLN effectively improved generalization compared to classical cross-entropy error and mean squared error.
• Abstract（参考訳）: 本稿では,メタロスネットワーク(mln)と呼ばれるパラメータ付き損失関数を進化させ,画像分類学習を小規模データセットで学習するメタラーニング手法を提案する。 私たちのアプローチでは、MLNは微分可能な客観的関数として分類学習のフレームワークに埋め込まれています。 MLNは進化戦略アルゴリズム(ES)によって最適化された損失関数に進化し、この損失を最小限に抑えるために最適化された分類器が良好な一般化効果を達成する。 分類器は、小さなトレーニングデータセットから学習し、Stochastic Gradient Descent (SGD)でMLNを最小化し、その後、大規模な検証データセット上の小データセット更新分類器の精度でMLNを進化させる。 本手法を評価するため,MLNはFashionMNISTから採取した多数のサンプル学習タスクを訓練し,FashionMNISTとCIFAR10から採取した検証タスクを試験した。 実験の結果,MLNは古典的クロスエントロピー誤差や平均二乗誤差と比較して,一般化を効果的に改善した。

関連論文リスト

• Meta-GCN: A Dynamically Weighted Loss Minimization Method for Dealing with the Data Imbalance in Graph Neural Networks [5.285761906707429]
  そこで我々は,メタGCNというメタ学習アルゴリズムを提案し,サンプル重み付けを適応的に学習する。 我々は,Meta-GCNが最先端フレームワークや他のベースラインを精度で上回ることを示した。
  論文  参考訳（メタデータ） (2024-06-24T18:59:24Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• An Adaptive Plug-and-Play Network for Few-Shot Learning [12.023266104119289]
  少数のサンプルから学んだ後、新しいサンプルを分類するモデルが必要である。 ディープネットワークと複雑なメトリクスはオーバーフィッティングを引き起こす傾向があり、パフォーマンスをさらに改善することは困難である。 プラグアンドプレイ型モデル適応型リサイザ (MAR) とアダプティブ類似度測定器 (ASM) をその他の損失なく提案する。
  論文  参考訳（メタデータ） (2023-02-18T13:25:04Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Simple and Robust Loss Design for Multi-Label Learning with Missing Labels [14.7306301893944]
  モデルが学習中に欠落したラベルを識別できる観察結果に基づいて,ロバストな損失設計による簡易かつ効果的な2つの手法を提案する。 1つ目は、ヒルの損失(ヒルの損失)であり、これは、偽陰性の影響を軽減するために丘の形状の負を再び重み付けするものである。 第2の手法はSPLC法であり、失ったラベルの近似分布の下で最大度基準から得られた損失を利用する。
  論文  参考訳（メタデータ） (2021-12-13T11:39:19Z)
• Generating meta-learning tasks to evolve parametric loss for classification learning [1.1355370218310157]
  既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。 本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
  論文  参考訳（メタデータ） (2021-11-20T13:07:55Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。