論文の概要: Actively Learning Deep Neural Networks with Uncertainty Sampling Based
on Sum-Product Networks
- arxiv url: http://arxiv.org/abs/2206.09798v1
- Date: Mon, 20 Jun 2022 14:28:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 19:57:24.650722
- Title: Actively Learning Deep Neural Networks with Uncertainty Sampling Based
on Sum-Product Networks
- Title（参考訳）: Sum-Product Networksに基づく不確かさサンプリングによる深層ニューラルネットワークの能動的学習
- Authors: Mohamadsadegh Khosravani and Sandra Zilles
- Abstract要約: 本稿では、畳み込みニューラルネットワーク(CNN)のトレーニングにおける不確実性サンプリングに対する新しいアプローチを提案する。
CNN が抽出した特徴表現を Sum-Product Network (SPN) のトレーニングデータとして利用する。
- 参考スコア（独自算出の注目度）: 4.821312633849745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Active learning is popular approach for reducing the amount of data in
training deep neural network model. Its success hinges on the choice of an
effective acquisition function, which ranks not yet labeled data points
according to their expected informativeness. In uncertainty sampling, the
uncertainty that the current model has about a point's class label is the main
criterion for this type of ranking. This paper proposes a new approach to
uncertainty sampling in training a Convolutional Neural Network (CNN). The main
idea is to use feature representation extracted extracted by the CNN as data
for training a Sum-Product Network (SPN). Since SPNs are typically used for
estimating the distribution of a dataset, they are well suited to the task of
estimating class probabilities that can be used directly by standard
acquisition functions such as max entropy and variational ratio. Moreover, we
enhance these acquisition functions by weights calculated with the help of the
SPN model; these weights make the acquisition function more sensitive to the
diversity of conceivable class labels for data points. The effectiveness of our
method is demonstrated in an experimental study on the MNIST, Fashion-MNIST and
CIFAR-10 datasets, where we compare it to the state-of-the-art methods MC
Dropout and Bayesian Batch.
- Abstract（参考訳）: アクティブラーニングは、ディープニューラルネットワークモデルのトレーニングにおけるデータ量を減らすための一般的なアプローチである。
その成功は、期待される情報量に応じてラベル付けされていないデータポイントをランク付けする効果的な取得関数の選択にかかっている。
不確実性サンプリングでは、現在のモデルがポイントのクラスラベルに関する不確実性が、このタイプのランキングの主要な基準である。
本稿では,畳み込みニューラルネットワーク(CNN)のトレーニングにおける不確実性サンプリングに対する新しいアプローチを提案する。
CNN が抽出した特徴表現を Sum-Product Network (SPN) のトレーニングデータとして利用する。
SPNは一般にデータセットの分布を推定するために使用されるため、最大エントロピーや変分比といった標準的な取得関数によって直接使用できるクラス確率を推定するタスクに適している。
さらに,SPNモデルの助けを借りて計算した重みにより,これらの乗算関数を強化し,この重み付けにより,データポイントに対する知覚可能なクラスラベルの多様性により敏感になる。
本手法の有効性は, MNIST, Fashion-MNIST, CIFAR-10データセットを用いて実験的に検証し, MC Dropout と Bayesian Batch を比較した。
関連論文リスト
- Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。
我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
論文 参考訳（メタデータ） (2024-06-06T10:38:01Z) - Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳（メタデータ） (2024-01-18T08:12:23Z) - Model Uncertainty based Active Learning on Tabular Data using Boosted
Trees [0.4667030429896303]
監視された機械学習は、モデルトレーニングのための良質なラベル付きデータの可用性に依存している。
アクティブな学習は機械学習のサブフィールドであり、ラベル付きデータを効率的に取得するのに役立つ。
論文 参考訳（メタデータ） (2023-10-30T14:29:53Z) - Sample Complexity of Preference-Based Nonparametric Off-Policy
Evaluation with Deep Networks [58.469818546042696]
我々は、OPEのサンプル効率を人間の好みで研究し、その統計的保証を確立する。
ReLUネットワークのサイズを適切に選択することにより、マルコフ決定過程において任意の低次元多様体構造を活用できることが示される。
論文 参考訳（メタデータ） (2023-10-16T16:27:06Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Frugal Reinforcement-based Active Learning [12.18340575383456]
本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。
提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。
また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
論文 参考訳（メタデータ） (2022-12-09T14:17:45Z) - Robust Deep Learning for Autonomous Driving [0.0]
モデル信頼度を確実に推定する新しい基準を導入する:真のクラス確率(TCP)
真のクラスは本質的にテスト時に未知であるため、補助モデルを用いてデータからTCPの基準を学習し、この文脈に適応した特定の学習スキームを導入することを提案する。
本研究は, 既知モデルに基づく新たな不確実性尺度を導入することで, 誤分類と分布外サンプルを共同で検出する課題に対処する。
論文 参考訳（メタデータ） (2022-11-14T22:07:11Z) - Making Look-Ahead Active Learning Strategies Feasible with Neural
Tangent Kernels [6.372625755672473]
本稿では,仮説的ラベル付き候補データを用いた再学習に基づく,能動的学習獲得戦略の近似手法を提案する。
通常、これはディープ・ネットワークでは実現できないが、我々はニューラル・タンジェント・カーネルを用いて再トレーニングの結果を近似する。
論文 参考訳（メタデータ） (2022-06-25T06:13:27Z) - Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。
我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文 参考訳（メタデータ） (2021-12-20T13:07:39Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Confidence Estimation via Auxiliary Models [47.08749569008467]
モデル信頼のための新しいターゲット基準、すなわち真のクラス確率(TCP)を紹介します。
標準最大クラス確率 (MCP) よりも TCP が信頼度推定に優れた特性を提供することを示す。
論文 参考訳（メタデータ） (2020-12-11T17:21:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。