論文の概要: Dropout can Simulate Exponential Number of Models for Sample Selection Techniques

• arxiv url: http://arxiv.org/abs/2202.13203v1
• Date: Sat, 26 Feb 2022 17:53:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-03 08:50:55.559196
• Title: Dropout can Simulate Exponential Number of Models for Sample Selection Techniques
• Title（参考訳）: ドロップアウトはサンプル選択手法のための指数数モデルをシミュレートできる
• Authors: Lakshya
• Abstract要約: モデルに基づくサンプル選択手法を2つ変更して,指数関数的な数の共有モデルを使用する方法を示す。 単一のモデルをDropoutで使用するのがより便利であるだけでなく、このアプローチはDropoutの自然な利点と指数関数的な数のモデルのトレーニングの利点を兼ね備えている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Following Coteaching, generally in the literature, two models are used in sample selection based approaches for training with noisy labels. Meanwhile, it is also well known that Dropout when present in a network trains an ensemble of sub-networks. We show how to leverage this property of Dropout to train an exponential number of shared models, by training a single model with Dropout. We show how we can modify existing two model-based sample selection methodologies to use an exponential number of shared models. Not only is it more convenient to use a single model with Dropout, but this approach also combines the natural benefits of Dropout with that of training an exponential number of models, leading to improved results.
• Abstract（参考訳）: Coteachingに続いて、一般的に文献では、2つのモデルがサンプル選択に基づくノイズラベルのトレーニングに使用される。 一方で、ネットワークに存在するドロップアウトがサブネットワークのアンサンブルを訓練することもよく知られている。 我々はDropoutのこの特性を利用して、Dropoutで単一のモデルをトレーニングすることで、指数関数的な数の共有モデルをトレーニングする方法を示す。 本稿では,既存の2つのモデルに基づくサンプル選択手法を,指数的な数の共有モデルを使用する方法を示す。 単一のモデルをDropoutで使用する方が便利であるだけでなく、このアプローチはDropoutの自然な利点と指数関数的なモデルのトレーニングの利点を組み合わせることで、結果が改善される。

関連論文リスト

• Hybrid diffusion models: combining supervised and generative pretraining for label-efficient fine-tuning of segmentation models [55.2480439325792]
  そこで本研究では,第1領域における画像のデノベーションとマスク予測を同時に行うことを目的とした,新しいプレテキストタスクを提案する。 提案手法を用いて事前学習したモデルを微調整すると、教師なしまたは教師なしの事前学習を用いて訓練した類似モデルの微調整よりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-08-06T20:19:06Z)
• Ablation Based Counterfactuals [7.481286710933861]
  ABC (Ablation Based Counterfactuals) は、モデル再訓練ではなくモデルアブレーションに依存する反ファクト解析を行う手法である。 拡散モデルの集合を用いてこのようなモデルを構築する方法を示す。 次に、このモデルを用いて、完全な対物的景観を列挙することで、トレーニングデータ属性の限界を研究する。
  論文  参考訳（メタデータ） (2024-06-12T06:22:51Z)
• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
  本稿では,2相モデル選択フレームワークを提案する。 これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。 提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
  論文  参考訳（メタデータ） (2024-03-28T14:44:44Z)
• Layer-wise Regularized Dropout for Neural Language Models [57.422407462430186]
  レイヤワイド正規化ドロップアウト(LR-Drop)は、トランスフォーマーベースの言語モデルのために特別に設計されている。 LR-Dropは、最先端の結果を含む優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-02-26T07:31:35Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)
• Instance Selection for GANs [25.196177369030146]
  GAN(Generative Adversarial Networks)は、高品質な合成画像を生成するために広く採用されている。 GANはしばしばデータ多様体の外にある非現実的なサンプルを生成する。 本稿では,サンプルの品質向上のための新しいアプローチを提案する。モデルトレーニングが行われる前に,インスタンス選択によるトレーニングデータセットの変更を行う。
  論文  参考訳（メタデータ） (2020-07-30T06:33:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。