Fugu-MT 論文翻訳(概要): Active Surrogate Estimators: An Active Learning Approach to Label-Efficient Model Evaluation

論文の概要: Active Surrogate Estimators: An Active Learning Approach to Label-Efficient Model Evaluation

arxiv url: http://arxiv.org/abs/2202.06881v1
Date: Mon, 14 Feb 2022 17:15:18 GMT
ステータス: 処理完了
システム内更新日: 2022-02-15 15:47:44.817401
Title: Active Surrogate Estimators: An Active Learning Approach to Label-Efficient Model Evaluation
Title（参考訳）: active surrogate estimators: ラベル効率モデル評価のためのアクティブラーニングアプローチ
Authors: Jannik Kossen, Sebastian Farquhar, Yarin Gal, Tom Rainforth
Abstract要約: モデル評価のためのアクティブサロゲート推定器(ASE)を提案する。 ASEは現在の最先端技術よりもラベル効率が高いことが分かりました。
参考スコア（独自算出の注目度）: 59.7305309038676
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose Active Surrogate Estimators (ASEs), a new method for label-efficient model evaluation. Evaluating model performance is a challenging and important problem when labels are expensive. ASEs address this active testing problem using a surrogate-based estimation approach, whereas previous methods have focused on Monte Carlo estimates. ASEs actively learn the underlying surrogate, and we propose a novel acquisition strategy, XWING, that tailors this learning to the final estimation task. We find that ASEs offer greater label-efficiency than the current state-of-the-art when applied to challenging model evaluation problems for deep neural networks. We further theoretically analyze ASEs' errors.
Abstract（参考訳）: 本稿では,新しいラベル効率モデル評価法である active surrogate estimators (ases) を提案する。ラベルが高価である場合、モデルパフォーマンスの評価は困難で重要な問題である。 ASEはサロゲートに基づく推定手法を用いてこのアクティブなテスト問題に対処するが、以前の手法ではモンテカルロの推定に重点を置いている。 ASEは,その基盤となるサロゲートを積極的に学習し,この学習を最終推定タスクに合わせる新しい獲得戦略であるXWINGを提案する。 ASEは、ディープニューラルネットワークのモデル評価問題に適用した場合、現在の最先端技術よりも高いラベル効率を提供する。さらに,ASEの誤りを理論的に解析する。

関連論文リスト

Deep Bayesian Active Learning for Preference Modeling in Large Language Models [84.817400962262]
本稿では,BAL-PM(Bayesian Active Learner for Preference Modeling)を提案する。 BAL-PMは2つの人気のある人間の嗜好データセットにおいて、好みラベルを33%から68%少なくし、以前のベイズ買収ポリシーを超えている。我々の実験では、BAL-PMは2つの人気のある人選好データセットにおいて33%から68%の選好ラベルを必要としており、ベイズ買収ポリシーを上回ります。
論文参考訳（メタデータ） (2024-06-14T13:32:43Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
学びアクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。能動学習問題の対称性と独立性を利用した新しい分類法を提案する。私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文参考訳（メタデータ） (2023-09-11T14:16:37Z)
From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文参考訳（メタデータ） (2023-06-18T09:54:33Z)
NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating True Coverage [3.4806267677524896]
ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-07T01:43:47Z)
Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文参考訳（メタデータ） (2022-12-20T19:29:37Z)
Self-supervised Assisted Active Learning for Skin Lesion Segmentation [18.78959113954792]
ラベルの不足は、高いアノテーションコストと専門的な要件のために、バイオメディカルなイメージセグメンテーションの長年の問題であった。そこで本研究では,まず,自己教師型学習でセグメンテーションモデルをウォームアップする,冷間開始環境における自己教師型アクティブラーニングフレームワークを提案する。私たちのアプローチは、既存のベースラインよりも大幅に改善され、有望なパフォーマンスを達成することができます。
論文参考訳（メタデータ） (2022-05-14T09:40:18Z)
WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation Models [24.455665093145818]
我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。 WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
論文参考訳（メタデータ） (2022-02-28T08:55:12Z)
Active Testing: Sample-Efficient Model Evaluation [39.200332879659456]
サンプル効率のよいモデル評価のための新しいフレームワークであるactive testingを紹介する。アクティブテストは、ラベルにテストポイントを慎重に選択することでこれに対処する。我々は,推定器のばらつきを低減しつつ,バイアスの除去方法を示す。
論文参考訳（メタデータ） (2021-03-09T10:20:49Z)
Active Feature Acquisition with Generative Surrogate Models [11.655069211977464]
本研究では,アクティブ機能獲得(AFA)を行うモデルについて検討し,未観測機能に対する環境問合せを行う。我々の研究は、AFA問題を生成的モデリングタスクとして根底にあるマルコフ決定プロセス(MDP)を再構築する。本稿では,入力特徴間の依存関係を捕捉し,取得から得られる潜在的な情報を評価する生成代理モデル(GSM)の学習を提案する。
論文参考訳（メタデータ） (2020-10-06T02:10:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。