Fugu-MT 論文翻訳(概要): Diversity Enhanced Active Learning with Strictly Proper Scoring Rules

論文の概要: Diversity Enhanced Active Learning with Strictly Proper Scoring Rules

arxiv url: http://arxiv.org/abs/2110.14171v1
Date: Wed, 27 Oct 2021 05:02:11 GMT
ステータス: 処理完了
システム内更新日: 2021-10-28 12:31:41.864495
Title: Diversity Enhanced Active Learning with Strictly Proper Scoring Rules
Title（参考訳）: 厳密なスコアリングルールによる多様性強化アクティブラーニング
Authors: Wei Tan, Lan Du, Wray Buntine
Abstract要約: テキスト分類のための能動学習(AL)のための獲得関数について検討する。我々は、期待損失削減法(ELR)を、ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。 BEMPSを用いた平均二乗誤差とログ確率を用いることで、ロバストな取得関数が得られることを示す。
参考スコア（独自算出の注目度）: 4.81450893955064
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study acquisition functions for active learning (AL) for text classification. The Expected Loss Reduction (ELR) method focuses on a Bayesian estimate of the reduction in classification error, recently updated with Mean Objective Cost of Uncertainty (MOCU). We convert the ELR framework to estimate the increase in (strictly proper) scores like log probability or negative mean square error, which we call Bayesian Estimate of Mean Proper Scores (BEMPS). We also prove convergence results borrowing techniques used with MOCU. In order to allow better experimentation with the new acquisition functions, we develop a complementary batch AL algorithm, which encourages diversity in the vector of expected changes in scores for unlabelled data. To allow high performance text classifiers, we combine ensembling and dynamic validation set construction on pretrained language models. Extensive experimental evaluation then explores how these different acquisition functions perform. The results show that the use of mean square error and log probability with BEMPS yields robust acquisition functions, which consistently outperform the others tested.
Abstract（参考訳）: テキスト分類のための能動学習(AL)のための獲得関数について検討する。期待損失削減法 (ELR) は, 不確実性の平均目標コスト (MOCU) で最近更新された分類誤差の低減に関するベイズ推定に焦点をあてる。我々は,ERRフレームワークを,平均値スコア(BEMPS)のベイズ推定(Bayesian Estimate of Mean Proper Scores)と呼ぶ,ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。また,mocuを用いた収束結果の借用手法も証明する。新たな獲得関数の実験をより良くするために,ラベルなしデータに対するスコア変化の予測ベクトルの多様性を奨励する相補的バッチalアルゴリズムを開発した。高性能なテキスト分類器を実現するために,事前学習した言語モデル構築のためのエンセムリングと動的バリデーションを組み合わせる。広範にわたる実験的評価は、これらの異なる獲得関数がどのように機能するかを探求する。その結果,平均二乗誤差と対数確率を bemps で用いるとロバストな獲得関数が得られることがわかった。

関連論文リスト

Exploring Learning Complexity for Downstream Data Pruning [9.526877053855998]
本稿では,学習複雑性(LC)を分類・回帰タスクのスコアリング機能として扱うことを提案する。大規模言語モデルの微調整を行うため,本手法は安定収束による最先端性能を実現する。
論文参考訳（メタデータ） (2024-02-08T02:29:33Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Bayesian Estimate of Mean Proper Scores for Diversity-Enhanced Active Learning [6.704927458661697]
期待されている損失削減(ELR)は、分類誤差の低減と、同じフレームワークに適合するより一般的なコストのベイズ推定に焦点を当てている。本研究では,平均値スコア(BEMPS)のベイズ推定を行い,厳密なスコアの増加を推定する。我々は,BEMPSが頑健な獲得関数とよく校正された分類器を出力し,他の試験よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-12-15T11:02:17Z)
Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文参考訳（メタデータ） (2023-10-09T03:55:09Z)
Controlling Learned Effects to Reduce Spurious Correlations in Text Classifiers [6.662800021628275]
本稿では,特徴の学習効果をモデルで予測し,特徴がラベルに与える影響を推定するアルゴリズムを提案する。毒性とIMDBレビューデータセットについて、提案アルゴリズムは、突発的な相関を最小化し、マイノリティグループを改善する。
論文参考訳（メタデータ） (2023-05-26T12:15:54Z)
On the Efficacy of Generalization Error Prediction Scoring Functions [33.24980750651318]
一般化誤差予測器(GEP)は,サンプルレベルのスコアからデータセットレベルの誤差推定を導出することにより,未知分布のモデル性能を予測することを目的としている。機構選択に依存しない一般的なスコアリング関数(自信,局所多様体の滑らかさ,モデル適合性)の有効性を厳密に研究する。
論文参考訳（メタデータ） (2023-03-23T18:08:44Z)
Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T14:49:59Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文参考訳（メタデータ） (2022-02-22T18:37:23Z)
Robust Importance Sampling for Error Estimation in the Context of Optimal Bayesian Transfer Learning [13.760785726194591]
最適ベイズ移動学習のための最小平均二乗誤差推定器(MMSE)を新たに導入する。提案した推定器を用いて,多様な学習能力にまたがる幅広い分類器の分類精度を評価する。合成データと実世界のRNAシークエンシング(RNA-seq)データの両方に基づく実験結果から,提案したOBTL誤差推定手法が標準誤差推定器より明らかに優れていることが示された。
論文参考訳（メタデータ） (2021-09-05T19:11:33Z)
Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文参考訳（メタデータ） (2021-08-03T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。