論文の概要: Dropout can Simulate Exponential Number of Models for Sample Selection
Techniques
- arxiv url: http://arxiv.org/abs/2202.13203v1
- Date: Sat, 26 Feb 2022 17:53:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-03 08:50:55.559196
- Title: Dropout can Simulate Exponential Number of Models for Sample Selection
Techniques
- Title(参考訳): ドロップアウトはサンプル選択手法のための指数数モデルをシミュレートできる
- Authors: Lakshya
- Abstract要約: モデルに基づくサンプル選択手法を2つ変更して,指数関数的な数の共有モデルを使用する方法を示す。
単一のモデルをDropoutで使用するのがより便利であるだけでなく、このアプローチはDropoutの自然な利点と指数関数的な数のモデルのトレーニングの利点を兼ね備えている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Following Coteaching, generally in the literature, two models are used in
sample selection based approaches for training with noisy labels. Meanwhile, it
is also well known that Dropout when present in a network trains an ensemble of
sub-networks. We show how to leverage this property of Dropout to train an
exponential number of shared models, by training a single model with Dropout.
We show how we can modify existing two model-based sample selection
methodologies to use an exponential number of shared models. Not only is it
more convenient to use a single model with Dropout, but this approach also
combines the natural benefits of Dropout with that of training an exponential
number of models, leading to improved results.
- Abstract(参考訳): Coteachingに続いて、一般的に文献では、2つのモデルがサンプル選択に基づくノイズラベルのトレーニングに使用される。
一方で、ネットワークに存在するドロップアウトがサブネットワークのアンサンブルを訓練することもよく知られている。
我々はDropoutのこの特性を利用して、Dropoutで単一のモデルをトレーニングすることで、指数関数的な数の共有モデルをトレーニングする方法を示す。
本稿では,既存の2つのモデルに基づくサンプル選択手法を,指数的な数の共有モデルを使用する方法を示す。
単一のモデルをDropoutで使用する方が便利であるだけでなく、このアプローチはDropoutの自然な利点と指数関数的なモデルのトレーニングの利点を組み合わせることで、結果が改善される。
関連論文リスト
- Layer-wise Regularized Dropout for Neural Language Models [57.422407462430186]
レイヤワイド正規化ドロップアウト(LR-Drop)は、トランスフォーマーベースの言語モデルのために特別に設計されている。
LR-Dropは、最先端の結果を含む優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2024-02-26T07:31:35Z) - Heterogeneous Federated Learning Using Knowledge Codistillation [23.895665011884102]
本稿では、プール全体における小さなモデルと、より高いキャパシティを持つクライアントのサブセットにおけるより大きなモデルをトレーニングする手法を提案する。
モデルは、パラメータを共有することなく、サーバ上のラベルなしデータセットを利用して、知識蒸留を介して情報を双方向に交換する。
論文 参考訳(メタデータ) (2023-10-04T03:17:26Z) - Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot
Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。
モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文 参考訳(メタデータ) (2023-05-22T23:43:23Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。
単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。
提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文 参考訳(メタデータ) (2021-03-06T19:30:32Z) - One for More: Selecting Generalizable Samples for Generalizable ReID
Model [92.40951770273972]
本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。
提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
論文 参考訳(メタデータ) (2020-12-10T06:37:09Z) - Instance Selection for GANs [25.196177369030146]
GAN(Generative Adversarial Networks)は、高品質な合成画像を生成するために広く採用されている。
GANはしばしばデータ多様体の外にある非現実的なサンプルを生成する。
本稿では,サンプルの品質向上のための新しいアプローチを提案する。モデルトレーニングが行われる前に,インスタンス選択によるトレーニングデータセットの変更を行う。
論文 参考訳(メタデータ) (2020-07-30T06:33:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。