論文の概要: Estimating Fr\'echet bounds for validating programmatic weak supervision
- arxiv url: http://arxiv.org/abs/2312.04601v1
- Date: Thu, 7 Dec 2023 07:15:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 17:43:01.073565
- Title: Estimating Fr\'echet bounds for validating programmatic weak supervision
- Title(参考訳): プログラム的弱監督を検証するためのfr\'echet境界の推定
- Authors: Felipe Maia Polo, Mikhail Yurochkin, Moulinath Banerjee, Subha Maity,
Yuekai Sun
- Abstract要約: 我々は、ある変数が連続的に評価される(おそらく高次元の)分布クラス上のFr'echeの境界を推定する手法を開発する。
プログラム弱監督(PWS)を訓練した機械学習(ML)モデルの性能を評価することで,アルゴリズムの有用性を実証する。
- 参考スコア(独自算出の注目度): 50.13475056199486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop methods for estimating Fr\'echet bounds on (possibly
high-dimensional) distribution classes in which some variables are
continuous-valued. We establish the statistical correctness of the computed
bounds under uncertainty in the marginal constraints and demonstrate the
usefulness of our algorithms by evaluating the performance of machine learning
(ML) models trained with programmatic weak supervision (PWS). PWS is a
framework for principled learning from weak supervision inputs (e.g.,
crowdsourced labels, knowledge bases, pre-trained models on related tasks,
etc), and it has achieved remarkable success in many areas of science and
engineering. Unfortunately, it is generally difficult to validate the
performance of ML models trained with PWS due to the absence of labeled data.
Our algorithms address this issue by estimating sharp lower and upper bounds
for performance metrics such as accuracy/recall/precision/F1 score.
- Abstract(参考訳): 我々は、ある変数が連続評価される(おそらく高次元)分布クラス上のFr\echet境界を推定する方法を開発する。
プログラム弱監督(PWS)を用いて訓練された機械学習(ML)モデルの性能を評価することにより,限界制約の不確実性の下で計算された境界の統計的正当性を確立し,アルゴリズムの有用性を示す。
PWSは、弱い監督インプット(例えば、クラウドソースされたラベル、知識ベース、関連するタスクに関する事前訓練されたモデルなど)からの原則的学習のフレームワークであり、科学と工学の多くの分野で大きな成功を収めた。
残念ながら、ラベル付きデータがないため、PWSでトレーニングされたMLモデルの性能を検証することは一般的に困難である。
我々のアルゴリズムは、精度/リコール/精度/F1スコアなどのパフォーマンス指標の急激な下限と上限を推定することでこの問題に対処する。
関連論文リスト
- Learning-Based Approaches to Predictive Monitoring with Conformal
Statistical Guarantees [2.1684857243537334]
本チュートリアルは、予測モニタリング(PM)のための効率的な手法に焦点を当てている。
PMは、システムの現在の状態から与えられた要件の将来の違反を検出する問題である。
CPSの予測モニタリングに対する我々のアプローチを要約した、汎用的で包括的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-04T15:16:42Z) - Uncertainty quantification for learned ISTA [5.706217259840463]
これらのモデルに基づく学習手法では,アルゴリズムの解法が顕著である。
確実性見積が欠如しており、不確実性定量化の理論はまだ解明されていない。
本研究は,LISTA推定器の信頼区間を得るための厳密な手法を提案する。
論文 参考訳(メタデータ) (2023-09-14T18:39:07Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-08-01T06:16:18Z) - Making Pre-trained Language Models both Task-solvers and
Self-calibrators [52.98858650625623]
プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。
以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。
課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
論文 参考訳(メタデータ) (2023-07-21T02:51:41Z) - Robustness, Evaluation and Adaptation of Machine Learning Models in the
Wild [4.304803366354879]
本研究では、ドメインシフトに対するロバスト性の障害の原因と、ドメインロバストモデルをトレーニングするためのアルゴリズムを提案する。
モデル脆性の鍵となる原因はドメイン過度な適合であり、新しいトレーニングアルゴリズムはドメイン一般仮説を抑え、奨励する。
論文 参考訳(メタデータ) (2023-03-05T21:41:16Z) - Modeling Disagreement in Automatic Data Labelling for Semi-Supervised
Learning in Clinical Natural Language Processing [2.016042047576802]
放射線学報告における観測検出問題に応用した最先端の予測モデルからの不確実性推定の品質について検討する。
論文 参考訳(メタデータ) (2022-05-29T20:20:49Z) - FORML: Learning to Reweight Data for Fairness [2.105564340986074]
メタラーニング(FORML)によるフェアネス最適化リヘアリングについて紹介する。
FORMLは、トレーニングサンプル重量とニューラルネットワークのパラメータを共同最適化することで、公正性の制約と精度のバランスを取る。
また,FORMLは,既存の最先端再重み付け手法に比べて,画像分類タスクで約1%,顔予測タスクで約5%向上することを示した。
論文 参考訳(メタデータ) (2022-02-03T17:36:07Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳(メタデータ) (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。