Fugu-MT 論文翻訳(概要): Multi-Stage Transfer Learning with an Application to Selection Process

論文の概要: Multi-Stage Transfer Learning with an Application to Selection Process

arxiv url: http://arxiv.org/abs/2006.01276v1
Date: Mon, 1 Jun 2020 21:27:04 GMT
ステータス: 処理完了
システム内更新日: 2022-11-26 06:22:14.732202
Title: Multi-Stage Transfer Learning with an Application to Selection Process
Title（参考訳）: 多段階転送学習と選択過程への応用
Authors: Andre Mendes, Julian Togelius, Leandro dos Santos Coelho
Abstract要約: 多段階プロセスでは、決定は順序付けられた段階の順序で行われる。本研究では,早期に訓練された単純な分類器からの知識を利用するテキスト・マルチ・スタゲ・トランスファー・ラーニング(MSGTL)手法を提案する。簡単な確率写像を用いて,知識の保存と微調整のトレードオフを制御可能であることを示す。
参考スコア（独自算出の注目度）: 5.933303832684138
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In multi-stage processes, decisions happen in an ordered sequence of stages. Many of them have the structure of dual funnel problem: as the sample size decreases from one stage to the other, the information increases. A related example is a selection process, where applicants apply for a position, prize, or grant. In each stage, more applicants are evaluated and filtered out, and from the remaining ones, more information is collected. In the last stage, decision-makers use all available information to make their final decision. To train a classifier for each stage becomes impracticable as they can underfit due to the low dimensionality in early stages or overfit due to the small sample size in the latter stages. In this work, we proposed a \textit{Multi-StaGe Transfer Learning} (MSGTL) approach that uses knowledge from simple classifiers trained in early stages to improve the performance of classifiers in the latter stages. By transferring weights from simpler neural networks trained in larger datasets, we able to fine-tune more complex neural networks in the latter stages without overfitting due to the small sample size. We show that it is possible to control the trade-off between conserving knowledge and fine-tuning using a simple probabilistic map. Experiments using real-world data demonstrate the efficacy of our approach as it outperforms other state-of-the-art methods for transfer learning and regularization.
Abstract（参考訳）: 多段階プロセスでは、決定は順序付けられた段階の順序で行われる。それらの多くは二重ファンネル問題の構造を持ち、サンプルのサイズが1段階からもう1段階に減少すると、情報は増加する。関連する例として、応募者が地位、賞、授賞を申請する選考プロセスがある。各段階において、より多くの応募者が評価され、フィルタリングされ、残りの段階からより多くの情報が収集される。最後の段階では、意思決定者はすべての利用可能な情報を使って最終決定を行う。各ステージの分類器を訓練するには、初期における低次元性や後期のサンプルサイズが小さいため過度に適合しないため、実行不可能となる。本研究では,初期段階に訓練された単純な分類器からの知識を活用し,後期段階における分類器の性能を向上させることを目的とした,多段階間転送学習(msgtl)手法を提案する。大きなデータセットでトレーニングされた単純なニューラルネットワークから重みを転送することで、小さなサンプルサイズのために過度に適合することなく、後期の複雑なニューラルネットワークを微調整することができる。単純な確率写像を用いて,知識保存と微調整とのトレードオフを制御できることを示す。実世界のデータを用いた実験は,移動学習や正規化の最先端手法よりも優れていることを示す。

関連論文リスト

Fast Detection of Phase Transitions with Multi-Task Learning-by-Confusion [0.0]
基礎となるフェーズに関する事前知識のないデータから臨界点を識別する最も一般的なアプローチの1つは、ラーニング・バイ・コンフュージョン・スキームである。これまで、このスキームでは、グリッドを2つの側面に分割するごとに異なるバイナリ分類器を訓練しなければならなかったため、計算コストはグリッドポイントの数と線形にスケールする。本研究では,単一クラス分類器の訓練のみを必要とする代替実装を提案する。
論文参考訳（メタデータ） (2023-11-15T17:17:49Z)
Automated Imbalanced Classification via Layered Learning [0.734084539365505]
トレーニングインスタンスのクラス分布のバランスをとるために再サンプリング戦略を適用することは、これらの問題に対処するための一般的なアプローチである。多くの最先端の手法は、再サンプリングプロセスを実行するために決定境界に近い関心の事例を見つける。オーバーサンプリングは、少数層からインスタンスに含まれる情報を伝播することで、過度に適合する可能性を高める可能性がある。
論文参考訳（メタデータ） (2022-05-05T10:32:24Z)
BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
論文参考訳（メタデータ） (2022-03-03T05:31:33Z)
CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文参考訳（メタデータ） (2022-02-11T13:49:51Z)
Towards General and Efficient Active Learning [20.888364610175987]
アクティブラーニングは、限られたアノテーション予算を利用するために最も有益なサンプルを選択することを目的としている。本稿では,新しい汎用能動学習法(GEAL)を提案する。提案手法は,同一モデルの単一パス推定を用いて,異なるデータセット上でデータ選択処理を行うことができる。
論文参考訳（メタデータ） (2021-12-15T08:35:28Z)
Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文参考訳（メタデータ） (2021-05-10T15:09:01Z)
A Flexible Selection Scheme for Minimum-Effort Transfer Learning [27.920304852537534]
ファインチューニングは、トレーニング済みの畳み込みネットワークに含まれる知識を活用して、新しい視覚認識タスクを実現する方法として人気がある。フレキシブルチューニング(flex-tuning)と呼ばれる,ネットワークの個々のユニットをチューニング可能な,新たなファインチューニング方式を導入する。微調整された個々のユニットは、その単純さにもかかわらず、適応手法として非常に良い結果が得られることを示す。
論文参考訳（メタデータ） (2020-08-27T08:57:30Z)
Learning to Sample with Local and Global Contexts in Experience Replay Buffer [135.94190624087355]
遷移の相対的重要性を計算できる学習に基づく新しいサンプリング手法を提案する。本研究の枠組みは, 様々な非政治強化学習手法の性能を著しく向上させることができることを示す。
論文参考訳（メタデータ） (2020-07-14T21:12:56Z)
Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
論文参考訳（メタデータ） (2020-07-07T04:17:01Z)
Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
論文参考訳（メタデータ） (2020-06-17T11:27:00Z)
Adversarial Encoder-Multi-Task-Decoder for Multi-Stage Processes [5.933303832684138]
多段階プロセスでは、決定は順序付けられた段階の順序で行われる。本稿では,AAE(Adversarial Autoencoder),MTL(Multi-task Learning),MLSSL(Multi-label semi-supervised Learning)を組み合わせたフレームワークを提案する。異なるドメインの実際のデータを用いて、我々のアプローチは他の最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2020-03-15T19:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。