論文の概要: Improving Label Quality by Jointly Modeling Items and Annotators
- arxiv url: http://arxiv.org/abs/2106.10600v1
- Date: Sun, 20 Jun 2021 02:15:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-23 14:04:57.237336
- Title: Improving Label Quality by Jointly Modeling Items and Annotators
- Title(参考訳): アイテムとアノテーションの協調モデリングによるラベル品質の向上
- Authors: Tharindu Cyril Weerasooriya, Alexander G. Ororbia, Christopher M.
Homan
- Abstract要約: 雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。
我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
- 参考スコア(独自算出の注目度): 68.8204255655161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a fully Bayesian framework for learning ground truth labels from
noisy annotators.
Our framework ensures scalability by factoring a generative, Bayesian soft
clustering model over label distributions into the classic David and Skene
joint annotator-data model. Earlier research along these lines has neither
fully incorporated label distributions nor explored clustering by annotators
only or data only. Our framework incorporates all of these properties as:
(1) a graphical model designed to provide better ground truth estimates of
annotator responses as input to \emph{any} black box supervised learning
algorithm, and
(2) a standalone neural model whose internal structure captures many of the
properties of the graphical model.
We conduct supervised learning experiments using both models and compare them
to the performance of one baseline and a state-of-the-art model.
- Abstract(参考訳): 雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。
我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
初期の研究では、ラベルの分布を完全に組み込んでおらず、注釈者のみによるクラスタリングやデータのみを調査していなかった。
筆者らのフレームワークは, これらすべての特性を包含している: 1) 'emph{any} ブラックボックス教師付き学習アルゴリズムの入力としてアノテータ応答の基底的真理推定を提供するように設計されたグラフィカルモデル, (2) 内部構造がグラフィカルモデルの多くの特性を捉える独立したニューラルモデル。
両方のモデルを用いて教師あり学習実験を行い,1つのベースラインと最先端モデルのパフォーマンスと比較した。
関連論文リスト
- On the Role of Edge Dependency in Graph Generative Models [28.203109773986167]
本稿では,グラフ生成モデルのための新しい評価フレームワークを提案する。
我々は、精度とエッジの多様性の両方を保証するために、モデル生成グラフの重複の重要性に焦点をあてる。
我々の単純な解釈可能なモデルが、一般的な生成モデルと競合するベースラインを提供することを示す。
論文 参考訳(メタデータ) (2023-12-06T18:54:27Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Universal Semi-supervised Model Adaptation via Collaborative Consistency
Training [92.52892510093037]
我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。
本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。
実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
論文 参考訳(メタデータ) (2023-07-07T08:19:40Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - Deep incremental learning models for financial temporal tabular datasets
with distribution shifts [0.9790236766474201]
このフレームワークは、単純な基本的なビルディングブロック(決定木)を使用して、必要な複雑さの自己相似モデルを構築する。
我々は,NumeraiデータセットでトレーニングしたXGBoostモデルを用いて提案手法を実証し,異なるモデルスナップショット上での2層のXGBoostモデルの深部アンサンブルが高品質な予測を提供することを示す。
論文 参考訳(メタデータ) (2023-03-14T14:10:37Z) - Raw waveform speaker verification for supervised and self-supervised
learning [30.08242210230669]
本稿では,話者検証に有効な手法を取り入れた新しい生波形話者検証モデルを提案する。
最も優れた構成の下では、このモデルは、最先端のモデルと競合する0.89%のエラー率を示す。
また、自己教師型学習フレームワークを用いて、提案モデルについて検討し、この研究シリーズにおける最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2022-03-16T09:28:03Z) - A Gating Model for Bias Calibration in Generalized Zero-shot Learning [18.32369721322249]
汎用ゼロショット学習(GZSL)は,補助情報のみを用いることで,見つからないクラスデータに一般化できるモデルを訓練することを目的とする。
GZSLの主な課題の1つは、トレーニング中に利用可能なクラスデータのみに過度に適合することに起因する、見かけたクラスに対するバイアス付きモデル予測である。
GZSLのための2ストリームオートエンコーダに基づくゲーティングモデルを提案する。
論文 参考訳(メタデータ) (2022-03-08T16:41:06Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。