論文の概要: Depth Uncertainty Networks for Active Learning

• arxiv url: http://arxiv.org/abs/2112.06796v1
• Date: Mon, 13 Dec 2021 16:57:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 16:43:51.298528
• Title: Depth Uncertainty Networks for Active Learning
• Title（参考訳）: アクティブラーニングのための深さ不確かさネットワーク
• Authors: Chelsea Murray, James U. Allingham, Javier Antor\'an, Jos\'e Miguel Hern\'andez-Lobato
• Abstract要約: アクティブな学習では、トレーニングデータセットのサイズと複雑さが時間とともに変化する。 アクティブラーニングの開始時に利用可能なデータ量によって適切に定義された単純なモデルは、より多くのポイントがアクティブにサンプリングされるため、バイアスに悩まされる可能性がある。 ネットワークの深さと複雑さを推定するBNN変種であるDUN(Depth Uncertainty Networks)を用いてこの問題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In active learning, the size and complexity of the training dataset changes over time. Simple models that are well specified by the amount of data available at the start of active learning might suffer from bias as more points are actively sampled. Flexible models that might be well suited to the full dataset can suffer from overfitting towards the start of active learning. We tackle this problem using Depth Uncertainty Networks (DUNs), a BNN variant in which the depth of the network, and thus its complexity, is inferred. We find that DUNs outperform other BNN variants on several active learning tasks. Importantly, we show that on the tasks in which DUNs perform best they present notably less overfitting than baselines.
• Abstract（参考訳）: アクティブラーニングでは、トレーニングデータセットのサイズと複雑さは時間とともに変化する。 アクティブラーニングの開始時に利用可能なデータ量によってよく定義された単純なモデルは、より多くのポイントが積極的にサンプリングされるにつれてバイアスを被る可能性がある。 データセット全体に適した柔軟なモデルは、アクティブな学習の開始に向けて過剰な適合に苦しむ可能性がある。 ネットワークの深さと複雑さを推定するBNN変種であるDUN(Depth Uncertainty Networks)を用いてこの問題に対処する。 DUNは、いくつかのアクティブな学習タスクにおいて、他のBNN亜種よりも優れていることがわかった。 重要なことは、DUNが最善を尽くすタスクにおいて、ベースラインよりも明らかに過度に適合していないことを示している。

関連論文リスト

• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• Streaming Active Learning with Deep Neural Networks [44.50018541065145]
  ストリーミング設定において,ディープニューラルネットワークを用いたバッチアクティブ学習のための新しいアルゴリズムであるVeSSALを提案する。 VeSSALは、ラベルに遭遇した時点でクエリするポイントのグループをサンプリングする。 我々は、ディープニューラルネットワークの適用性を、現実的なアクティブな学習シナリオに拡張する。
  論文  参考訳（メタデータ） (2023-03-05T00:57:28Z)
• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• Continual Prune-and-Select: Class-incremental learning with specialized subnetworks [66.4795381419701]
  CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。 これは、クラス増分学習における第一級の結果である。
  論文  参考訳（メタデータ） (2022-08-09T10:49:40Z)
• Using Sum-Product Networks to Assess Uncertainty in Deep Active Learning [3.7507283158673212]
  本稿では,畳み込みニューラルネットワーク(CNN)を用いた深層能動学習における不確かさの計算方法を提案する。 CNN が抽出した特徴表現を Sum-Product Network (SPN) のトレーニングデータとして利用する。
  論文  参考訳（メタデータ） (2022-06-20T14:28:19Z)
• Efficacy of Bayesian Neural Networks in Active Learning [11.609770399591516]
  ベイズニューラルネットワークは、アンサンブルに基づく不確実性を捕捉する技術よりも効率的であることを示す。 また,近年,モンテカルロのドロップアウトよりも効果的であることが判明したアンサンブル技法の重要な欠点も明らかにした。
  論文  参考訳（メタデータ） (2021-04-02T06:02:11Z)
• Active Learning in CNNs via Expected Improvement Maximization [2.0305676256390934]
  また,Dropout-based IMprOvementS (DEIMOS) は,能動的学習に対する柔軟で計算効率のよいアプローチである。 以上の結果から,DIMOSは複数の回帰・分類タスクにおいて,既存のベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2020-11-27T22:06:52Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。