論文の概要: Improving Opinion-based Question Answering Systems Through Label Error
Detection and Overwrite
- arxiv url: http://arxiv.org/abs/2306.07499v1
- Date: Tue, 13 Jun 2023 02:20:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 15:19:50.052585
- Title: Improving Opinion-based Question Answering Systems Through Label Error
Detection and Overwrite
- Title（参考訳）: ラベル誤り検出と上書きによる意見に基づく質問応答システムの改善
- Authors: Xiao Yang, Ahmed K. Mohamed, Shashank Jain, Stanislav Peshterliev,
Debojeet Chatterjee, Hanwen Zha, Nikita Bhalla, Gagan Aneja and Pranab
Mohanty
- Abstract要約: 本稿では,ラベル誤り検出とオーバーライトのためのモデルに依存しない,計算的に効率的なフレームワーク LEDO を提案する。
LEDOはモンテカルロ・ドロップアウトと不確実性メトリクスを組み合わせており、複数のタスクやデータセットに簡単に一般化できる。
LEDOを業界意見に基づく質問応答システムに適用することは、すべてのコアモデルの精度を向上させるのに有効であることを示す。
- 参考スコア（独自算出の注目度）: 4.894035903847371
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Label error is a ubiquitous problem in annotated data. Large amounts of label
error substantially degrades the quality of deep learning models. Existing
methods to tackle the label error problem largely focus on the classification
task, and either rely on task specific architecture or require non-trivial
additional computations, which is undesirable or even unattainable for industry
usage. In this paper, we propose LEDO: a model-agnostic and computationally
efficient framework for Label Error Detection and Overwrite. LEDO is based on
Monte Carlo Dropout combined with uncertainty metrics, and can be easily
generalized to multiple tasks and data sets. Applying LEDO to an industry
opinion-based question answering system demonstrates it is effective at
improving accuracy in all the core models. Specifically, LEDO brings 1.1% MRR
gain for the retrieval model, 1.5% PR AUC improvement for the machine reading
comprehension model, and 0.9% rise in the Average Precision for the ranker, on
top of the strong baselines with a large-scale social media dataset.
Importantly, LEDO is computationally efficient compared to methods that require
loss function change, and cost-effective as the resulting data can be used in
the same continuous training pipeline for production. Further analysis shows
that these gains come from an improved decision boundary after cleaning the
label errors existed in the training data.
- Abstract（参考訳）: ラベルエラーは注釈付きデータにおけるユビキタスな問題である。
大量のラベルエラーは、ディープラーニングモデルの品質を著しく低下させる。
ラベルエラー問題に対処する既存の方法は、主に分類タスクに焦点を当てており、タスク固有のアーキテクチャに依存するか、あるいは非自明な追加計算を必要とする。
本稿では,ラベル誤り検出とオーバーライトのためのモデルに依存しない,効率的なフレームワーク LEDO を提案する。
LEDOはモンテカルロ・ドロップアウトと不確実性メトリクスを組み合わせており、複数のタスクやデータセットに簡単に一般化できる。
LEDOを業界意見に基づく質問応答システムに適用することは、すべてのコアモデルの精度を向上させるのに有効であることを示す。
具体的には、ledoは検索モデルに1.1%のmrゲイン、機械読解モデルに1.5%のpr auc改善、大規模なソーシャルメディアデータセットを備えた強力なベースラインに加えて、ランチャーの平均精度が0.9%向上する。
重要な点として、LEDOは損失関数の変更を必要とする方法と比較して計算効率が良く、結果として得られるデータが同じ連続的なトレーニングパイプラインで生産に使用できるため、コスト効率が良い。
さらに分析した結果、これらの成果はトレーニングデータに存在したラベルエラーを取り除いた後の判断境界の改善によるものであることが判明した。
関連論文リスト
- EntropyStop: Unsupervised Deep Outlier Detection with Loss Entropy [19.154826741973277]
ロスエントロピー (Loss Entropy) と呼ばれるゼロラベルのエントロピー距離を損失分布として提案する。
また、損失エントロピーが最大モデル検出能力を示す場合、トレーニングを停止する自動早期停止アルゴリズムEntropyStopを開発した。
論文 参考訳（メタデータ） (2024-05-21T05:17:43Z) - Improving Label Error Detection and Elimination with Uncertainty Quantification [5.184615738004059]
我々は不確実な量子化に基づくラベル誤り検出(UQ-LED)のための新しいモデル認識アルゴリズムを開発した。
我々のUQ-LEDアルゴリズムは、ラベルエラーの同定において最先端の信頼性学習より優れている。
本稿では,現実的なクラス依存ラベルエラーを合成的に生成する手法を提案する。
論文 参考訳（メタデータ） (2024-05-15T15:17:52Z) - Verifix: Post-Training Correction to Improve Label Noise Robustness with
Verified Samples [9.91998873101083]
トレーニング後の補正は、初期訓練後のモデルパラメータを調整し、ラベルノイズを軽減する。
Verifixは、小さな検証済みのデータセットを利用して、1回の更新でモデルの重みを補正する新しいアルゴリズムである。
25%の合成汚職を伴うCIFARデータセットの実験では、平均して7.36%の一般化改善が見られた。
論文 参考訳（メタデータ） (2024-03-13T15:32:08Z) - Parameter-tuning-free data entry error unlearning with adaptive
selective synaptic dampening [51.34904967046097]
本稿では,パラメータチューニングの必要性を排除した選択的シナプス減衰アンラーニング法の拡張を提案する。
本稿では,ResNet18とVision Transformerの未学習タスクにおける適応選択的シナプス減衰(ASSD)の性能を示す。
このアプローチの適用は、サプライチェーン管理などの産業環境において特に魅力的である。
論文 参考訳（メタデータ） (2024-02-06T14:04:31Z) - ERASE: Error-Resilient Representation Learning on Graphs for Label Noise
Tolerance [53.73316938815873]
本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。
ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。
提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
論文 参考訳（メタデータ） (2023-12-13T17:59:07Z) - Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。
元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
論文 参考訳（メタデータ） (2023-03-07T19:12:31Z) - Active Transfer Prototypical Network: An Efficient Labeling Algorithm
for Time-Series Data [1.7205106391379026]
本稿では,プロトタイプネットワーク(ProtoNet)をALイテレーションに組み込むことで,トレードオフ問題に対処する新しいFew-Shot Learning(FSL)ベースのALフレームワークを提案する。
このフレームワークは、UCI HAR/HAPTデータセットと現実世界のブレーキ操作データセットに基づいて検証された。
学習性能は、両方のデータセットにおける従来のALアルゴリズムを大幅に上回り、それぞれ10%と5%のラベル付け作業で90%の分類精度を達成した。
論文 参考訳（メタデータ） (2022-09-28T16:14:40Z) - Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。
本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。
この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。
本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
論文 参考訳（メタデータ） (2021-06-11T01:36:08Z) - Don't Wait, Just Weight: Improving Unsupervised Representations by
Learning Goal-Driven Instance Weights [92.16372657233394]
自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。
ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。
本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
論文 参考訳（メタデータ） (2020-06-22T15:59:32Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳（メタデータ） (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。