論文の概要: How Many Validation Labels Do You Need? Exploring the Design Space of
Label-Efficient Model Ranking
- arxiv url: http://arxiv.org/abs/2312.01619v1
- Date: Mon, 4 Dec 2023 04:20:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 16:22:54.969802
- Title: How Many Validation Labels Do You Need? Exploring the Design Space of
Label-Efficient Model Ranking
- Title(参考訳): バリデーションラベルはいくつ必要ですか?
ラベル効率モデルランキングの設計領域の検討
- Authors: Zhengyu Hu, Jieyu Zhang, Yue Yu, Yuchen Zhuang, Hui Xiong
- Abstract要約: モデル選択タスクのアノテーションコストを削減するフレームワークであるLEMRを紹介する。
LEMRはラベル付け予算のごく一部で完全にラベル付けされたデータセットに匹敵する結果が得られることを示す。
- 参考スコア(独自算出の注目度): 40.39898960460575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The paper introduces LEMR, a framework that reduces annotation costs for
model selection tasks. Our approach leverages ensemble methods to generate
pseudo-labels, employs uncertainty sampling for target acquisition, and
utilizes a Z-score mechanism for iterative committee reelection to refine model
ranks. We present a systematic study across various selection metrics,
demonstrating that LEMR achieves comparable results to fully labeled datasets
with a fraction of the labeling budget. Our findings indicate that LEMR not
only economizes the labeling effort in weak supervision and semi-supervised
learning settings but also effectively guides prompt selection for large
language models. With extensive experiments across 23 tasks, we reveal that our
framework can dramatically decrease the labeling cost without compromising the
accuracy of model selection, thereby offering a cost-effective alternative to
traditional practices.
- Abstract(参考訳): 本稿では,モデル選択タスクのアノテーションコストを削減するフレームワークであるlemrを紹介する。
本手法は,疑似ラベル生成にアンサンブル手法を活用し,目標獲得に不確実性サンプリングを活用し,反復委員会再選のためのz-score機構を用いてモデルランクを洗練する。
本稿では,LEMRがラベル付け予算のごく一部を持つ完全ラベル付きデータセットに匹敵する結果が得られることを示す。
この結果から,LEMRは,弱監督と半教師付き学習設定においてラベル付けの努力を損なうだけでなく,大規模言語モデルの迅速な選択を効果的に導くことが示唆された。
23のタスクにまたがる広範な実験により,モデル選択の精度を損なうことなく,ラベリングコストを劇的に削減できることを明らかにした。
関連論文リスト
- Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳(メタデータ) (2024-04-04T15:36:53Z) - REFRESH: Responsible and Efficient Feature Reselection Guided by SHAP Values [17.489279048199304]
REFRESHは、いくつかの新しいモデルをトレーニングすることなく、モデルパフォーマンスに望ましい追加の制約を達成できるように、機能を再選択する手法である。
REFRESHの基盤となるアルゴリズムは、SHAP値と相関解析を用いて、モデルをトレーニングすることなくモデルの予測を近似できる新しい手法である。
論文 参考訳(メタデータ) (2024-03-13T18:06:43Z) - Which LLM to Play? Convergence-Aware Online Model Selection with
Time-Increasing Bandits [43.65904435249823]
本稿では,モデルの性能向上を効果的に予測する帯域幅増加アルゴリズムTI-UCBを提案する。
本研究は,より効率的かつ経済的なモデル選択のために,増大する収束パターンを活用することの重要性を強調した。
論文 参考訳(メタデータ) (2024-03-11T23:52:46Z) - Balancing Efficiency vs. Effectiveness and Providing Missing Label
Robustness in Multi-Label Stream Classification [3.97048491084787]
ニューラルネットワークを用いた高次元多ラベル分類手法を提案する。
本モデルは,非定常環境に適した選択的なドリフト適応機構を用いる。
我々は,単純で効果的な計算手法を用いて,ラベルを欠いた環境に適応する。
論文 参考訳(メタデータ) (2023-10-01T13:23:37Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳(メタデータ) (2023-06-07T17:47:03Z) - Evaluating Representations with Readout Model Switching [18.475866691786695]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。
我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。
提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文 参考訳(メタデータ) (2023-02-19T14:08:01Z) - Semi-supervised 3D Object Detection with Proficient Teachers [114.54835359657707]
自律運転のシナリオにおけるクラウドベースの3Dオブジェクト検出器の優位性は、大量の正確なラベル付きサンプルに大きく依存している。
Pseudo-Labeling法はSSLフレームワークで一般的に使用されているが、教師モデルの低品質な予測は、その性能を著しく制限している。
そこで本研究では,教師モデルをさらに高度化することで,半教師付き3次元物体検出のためのPseudo-Labelingフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-26T04:54:03Z) - Cost-Effective Online Contextual Model Selection [14.094350329970537]
我々は,このタスクを,学習者が文脈とともにラベルのないデータポイントを受信する,オンラインコンテキストアクティブモデル選択問題として定式化する。
目標は、ラベルの過剰な量を得ることなく、任意のコンテキストに対して最良のモデルを出力することである。
本稿では,適応モデル選択のためのポリシークラスに定義された新しい不確実性サンプリングクエリ基準に依存する,文脈型アクティブモデル選択アルゴリズム(CAMS)を提案する。
論文 参考訳(メタデータ) (2022-07-13T08:22:22Z) - Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。
我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
論文 参考訳(メタデータ) (2021-06-20T02:15:20Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。