論文の概要: Generalizable Error Modeling for Search Relevance Data Annotation Tasks
- arxiv url: http://arxiv.org/abs/2310.05286v1
- Date: Sun, 8 Oct 2023 21:21:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 08:52:08.517567
- Title: Generalizable Error Modeling for Search Relevance Data Annotation Tasks
- Title(参考訳): 検索関連データアノテーションタスクの一般化誤りモデリング
- Authors: Heinrich Peters, Alireza Hashemi, James Rae
- Abstract要約: 人間のデータアノテーションは、機械学習(ML)と人工知能(AI)システムの品質を形成する上で重要である。
この文脈における重要な課題の1つは、MLモデルの性能が低下する可能性があるため、アノテーションエラーによって引き起こされることである。
本稿では,3つの産業規模のMLアプリケーションを対象とした検索関連アノテーションタスクにおいて,潜在的なエラーを検出するよう訓練された予測誤差モデルを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human data annotation is critical in shaping the quality of machine learning
(ML) and artificial intelligence (AI) systems. One significant challenge in
this context is posed by annotation errors, as their effects can degrade the
performance of ML models. This paper presents a predictive error model trained
to detect potential errors in search relevance annotation tasks for three
industry-scale ML applications (music streaming, video streaming, and mobile
apps) and assesses its potential to enhance the quality and efficiency of the
data annotation process. Drawing on real-world data from an extensive search
relevance annotation program, we illustrate that errors can be predicted with
moderate model performance (AUC=0.65-0.75) and that model performance
generalizes well across applications (i.e., a global, task-agnostic model
performs on par with task-specific models). We present model explainability
analyses to identify which types of features are the main drivers of predictive
performance. Additionally, we demonstrate the usefulness of the model in the
context of auditing, where prioritizing tasks with high predicted error
probabilities considerably increases the amount of corrected annotation errors
(e.g., 40% efficiency gains for the music streaming application). These results
underscore that automated error detection models can yield considerable
improvements in the efficiency and quality of data annotation processes. Thus,
our findings reveal critical insights into effective error management in the
data annotation process, thereby contributing to the broader field of
human-in-the-loop ML.
- Abstract(参考訳): 人間のデータアノテーションは、機械学習(ML)と人工知能(AI)システムの品質を形成する上で重要である。
この文脈における重要な課題の1つは、MLモデルの性能を低下させるため、アノテーションエラーによって引き起こされることである。
本稿では,3つの業界規模のmlアプリケーション(音楽ストリーミング,ビデオストリーミング,モバイルアプリ)において,検索関連アノテーションタスクの潜在的なエラーを検出するように学習した予測エラーモデルを提案する。
広範囲な検索関連アノテーションプログラムから実世界データを取り上げ,中程度のモデル性能(auc=0.65-0.75)でエラーを予測でき,アプリケーション間でのモデル性能が良好に一般化できることを示した。
モデル説明可能性解析を行い,予測性能の主要な要因となる特徴の同定を行う。
さらに,予測エラー確率の高いタスクの優先順位付けが,修正されたアノテーションエラーの量(例えば,音楽ストリーミングアプリケーションにおいて40%の効率向上)を大幅に増加させる,監査の文脈におけるモデルの有用性を示す。
これらの結果は、自動エラー検出モデルが、データアノテーションプロセスの効率と品質を大幅に改善できることを示している。
そこで本研究では,データアノテーションプロセスにおける効率的なエラー管理に関する重要な知見を明らかにし,より広範なヒューマン・イン・ザ・ループMLの分野に寄与する。
関連論文リスト
- AttributionScanner: A Visual Analytics System for Metadata-Free
Data-Slicing Based Model Validation [31.19426148651238]
AttributionScannerは、データスライシングベースの機械学習(ML)モデルの検証用に設計されたビジュアル分析システムである。
提案手法は,説明可能なAI(XAI)技術を用いて抽出した説明可能な特徴を利用して,解釈可能なデータスライスを識別する。
我々のフレームワークは、最先端のニューラルネットワーク正規化技術を使用することで、ドメインエキスパートにモデル問題に対処する権限を与えることで、ML開発サイクルを閉じる。
論文 参考訳(メタデータ) (2024-01-12T09:17:32Z) - QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Towards Better Modeling with Missing Data: A Contrastive Learning-based
Visual Analytics Perspective [7.577040836988683]
データ不足は機械学習(ML)モデリングの課題となる可能性がある。
現在のアプローチは、特徴計算とラベル予測に分類される。
本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T13:16:24Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - Striving for data-model efficiency: Identifying data externalities on
group performance [75.17591306911015]
信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。
我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。
以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
論文 参考訳(メタデータ) (2022-11-11T16:48:27Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳(メタデータ) (2022-11-08T19:00:00Z) - An Investigation of Smart Contract for Collaborative Machine Learning
Model Training [3.5679973993372642]
協調機械学習(CML)はビッグデータ時代において様々な分野に浸透してきた。
MLモデルのトレーニングには大量の高品質なデータが必要であるため、データのプライバシに関する懸念を取り除く必要がある。
ブロックチェーンに基づいて、スマートコントラクトはデータ保存とバリデーションの自動実行を可能にする。
論文 参考訳(メタデータ) (2022-09-12T04:25:01Z) - Understanding Factual Errors in Summarization: Errors, Summarizers,
Datasets, Error Detectors [105.12462629663757]
本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。
本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
論文 参考訳(メタデータ) (2022-05-25T15:26:48Z) - AI Total: Analyzing Security ML Models with Imperfect Data in Production [2.629585075202626]
新しい機械学習モデルの開発は通常、手動でキュレートされたデータセット上で行われる。
本研究では,ユーザによるヘッドライン性能数値の収集を可能にするWebベースの可視化システムを開発した。
また,何か問題が発生した場合に,問題の根本原因を即座に観察することも可能だ。
論文 参考訳(メタデータ) (2021-10-13T20:56:05Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳(メタデータ) (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。