Fugu-MT 論文翻訳(概要): Active Learning in Bayesian Neural Networks with Balanced Entropy Learning Principle

論文の概要: Active Learning in Bayesian Neural Networks with Balanced Entropy Learning Principle

arxiv url: http://arxiv.org/abs/2105.14559v3
Date: Sat, 15 Apr 2023 05:45:25 GMT
ステータス: 処理完了
システム内更新日: 2023-04-19 01:20:15.019636
Title: Active Learning in Bayesian Neural Networks with Balanced Entropy Learning Principle
Title（参考訳）: 平衡エントロピー学習原理を持つベイズニューラルネットワークのアクティブラーニング
Authors: Jae Oh Woo
Abstract要約: 本稿では,基礎となるソフトマックス確率の不確実性とラベル変数との間の情報バランスを捉える,新たな不確実性尺度であるBa balanced Entropy Acquisition (BalEntAcq)を提案する。 BalEntAcqは、よく知られた線形スケーラブルなアクティブラーニング手法より一貫して優れている。
参考スコア（独自算出の注目度）: 0.8122270502556371
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Acquiring labeled data is challenging in many machine learning applications with limited budgets. Active learning gives a procedure to select the most informative data points and improve data efficiency by reducing the cost of labeling. The info-max learning principle maximizing mutual information such as BALD has been successful and widely adapted in various active learning applications. However, this pool-based specific objective inherently introduces a redundant selection and further requires a high computational cost for batch selection. In this paper, we design and propose a new uncertainty measure, Balanced Entropy Acquisition (BalEntAcq), which captures the information balance between the uncertainty of underlying softmax probability and the label variable. To do this, we approximate each marginal distribution by Beta distribution. Beta approximation enables us to formulate BalEntAcq as a ratio between an augmented entropy and the marginalized joint entropy. The closed-form expression of BalEntAcq facilitates parallelization by estimating two parameters in each marginal Beta distribution. BalEntAcq is a purely standalone measure without requiring any relational computations with other data points. Nevertheless, BalEntAcq captures a well-diversified selection near the decision boundary with a margin, unlike other existing uncertainty measures such as BALD, Entropy, or Mean Standard Deviation (MeanSD). Finally, we demonstrate that our balanced entropy learning principle with BalEntAcq consistently outperforms well-known linearly scalable active learning methods, including a recently proposed PowerBALD, a simple but diversified version of BALD, by showing experimental results obtained from MNIST, CIFAR-100, SVHN, and TinyImageNet datasets.
Abstract（参考訳）: ラベル付きデータの取得は、予算が限られている多くの機械学習アプリケーションにおいて困難である。アクティブラーニングは、最も有益なデータポイントを選択し、ラベリングコストを削減し、データ効率を向上させる手順を与える。 BALDのような相互情報を最大化するインフォマックス学習原理は、様々なアクティブラーニング応用に成功し、広く応用されている。しかし、このプールベースの特定の目的は本質的に冗長な選択を導入し、さらにバッチ選択に高い計算コストを必要とする。本稿では,基礎となるソフトマックス確率の不確実性とラベル変数との間の情報バランスを捉える,新たな不確実性尺度BalEntAcqの設計と提案を行う。これを実現するために,各辺分布をベータ分布で近似する。ベータ近似により,拡張エントロピーと辺縁化関節エントロピーとの比としてbalentacqを定式化できる。 BalEntAcqの閉形式表現は、各辺ベータ分布の2つのパラメータを推定することにより並列化を容易にする。 BalEntAcqは純粋に独立した尺度であり、他のデータポイントとのリレーショナル計算を必要としない。それでもbalentacqは、ハゲ、エントロピー、平均標準偏差 (meansd) のような他の既存の不確実性尺度とは異なり、決定境界付近でマージンを持つよく異なる選択を捉えている。最後に、balentacqを用いたバランスのとれたエントロピー学習原理が、mnist、cifar-100、svhn、tinyimagenetデータセットから得られた実験結果を示し、最近提案されたpowerbaldを含む、線形スケーラブルなアクティブラーニング手法を一貫して上回っていることを実証する。

関連論文リスト

A Bayesian Approach to Data Point Selection [24.98069363998565]
データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
論文参考訳（メタデータ） (2024-11-06T09:04:13Z)
Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文参考訳（メタデータ） (2023-10-09T03:55:09Z)
Symmetric Equilibrium Learning of VAEs [56.56929742714685]
可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
論文参考訳（メタデータ） (2023-07-19T10:27:34Z)
Adaptive Conformal Prediction by Reweighting Nonconformity Score [0.0]
我々は、QRF(Quantile Regression Forest)を用いて、不整合スコアの分布を学習し、QRFの重みを利用して、テストポイントに類似した残差を持つサンプルにより重要度を割り当てる。提案手法は,仮定のない有限標本境界範囲と訓練条件範囲を満足し,適切な仮定の下で条件付き範囲を確保できる。
論文参考訳（メタデータ） (2023-03-22T16:42:19Z)
Sample-based Uncertainty Quantification with a Single Deterministic Neural Network [4.7210697296108926]
より安定かつスムーズなトレーニングを実現するために,disCOネットのニューラルネットワークの改良を提案する。本稿では,エネルギースコアを用いた予測分布の学習の有効性に関する基礎的証明を提案する。
論文参考訳（メタデータ） (2022-09-17T22:37:39Z)
Bayesian Active Learning with Fully Bayesian Gaussian Processes [0.0]
ラベル付きデータが乏しい、あるいは入手が難しいアクティブラーニングでは、このトレードオフを無視することは、非効率なクエリを引き起こす可能性がある。取得関数にバイアス分散トレードオフを組み込むことで、不要で高価なデータラベリングが軽減されることを示す。
論文参考訳（メタデータ） (2022-05-20T13:52:04Z)
Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文参考訳（メタデータ） (2022-03-14T17:24:03Z)
Maximizing Conditional Entropy for Batch-Mode Active Learning of Perceptual Metrics [14.777274711706653]
最大エントロピー原理を用いたバッチモードアクティブメトリック学習の新たなアプローチを提案する。単調に増大する部分モジュラーエントロピー関数を利用して効率的なグリードアルゴリズムを構築する。私たちのアプローチは、トリプルレット全体の情報性と多様性のバランスをとる統一されたスコアを定義する最初のバッチモードアクティブメトリック学習方法です。
論文参考訳（メタデータ） (2021-02-15T06:55:17Z)
Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文参考訳（メタデータ） (2020-12-13T03:41:52Z)
Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
論文参考訳（メタデータ） (2020-11-08T16:48:02Z)
Probabilistic Case-based Reasoning for Open-World Knowledge Graph Completion [59.549664231655726]
ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
論文参考訳（メタデータ） (2020-10-07T17:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。