Fugu-MT 論文翻訳(概要): Reliable and Interpretable Drift Detection in Streams of Short Texts

論文の概要: Reliable and Interpretable Drift Detection in Streams of Short Texts

arxiv url: http://arxiv.org/abs/2305.17750v1
Date: Sun, 28 May 2023 15:14:54 GMT
ステータス: 処理完了
システム内更新日: 2023-05-30 16:58:31.630577
Title: Reliable and Interpretable Drift Detection in Streams of Short Texts
Title（参考訳）: 短文ストリームにおける信頼性と解釈可能なドリフト検出
Authors: Ella Rabinovich, Matan Vetzler, Samuel Ackerman, Ateret Anaby-Tavor
Abstract要約: データドリフトは、機械学習モデルの性能劣化につながる重要な要因の1つだ。本稿では,大規模タスク指向対話システムにおけるモデルに依存しない変更点の検出と解釈のためのエンドツーエンドフレームワークを提案する。
参考スコア（独自算出の注目度）: 2.4603302139672008
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Data drift is the change in model input data that is one of the key factors leading to machine learning models performance degradation over time. Monitoring drift helps detecting these issues and preventing their harmful consequences. Meaningful drift interpretation is a fundamental step towards effective re-training of the model. In this study we propose an end-to-end framework for reliable model-agnostic change-point detection and interpretation in large task-oriented dialog systems, proven effective in multiple customer deployments. We evaluate our approach and demonstrate its benefits with a novel variant of intent classification training dataset, simulating customer requests to a dialog system. We make the data publicly available.
Abstract（参考訳）: データドリフトはモデル入力データの変化であり、機械学習モデルの性能劣化につながる重要な要因の1つである。ドリフトのモニタリングはこれらの問題を検知し、有害な結果を防ぐのに役立つ。意味のあるドリフト解釈は、モデルの効果的な再訓練に向けた基本的なステップである。本研究では,大規模タスク指向ダイアログシステムにおいて,信頼性の高いモデル非依存な変更点検出と解釈のためのエンドツーエンドフレームワークを提案する。当社のアプローチを評価し,顧客要求をダイアログシステムにシミュレートする意図分類学習データセットの新たな変種を用いて,そのメリットを実証する。データを公開しています。

関連論文リスト

Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文参考訳（メタデータ） (2024-08-24T18:28:19Z)
Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
論文参考訳（メタデータ） (2024-04-22T09:16:14Z)
AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
論文参考訳（メタデータ） (2024-03-26T04:27:56Z)
Uncovering Drift in Textual Data: An Unsupervised Method for Detecting and Mitigating Drift in Machine Learning Models [9.035254826664273]
機械学習におけるドリフト(drift)とは、モデルが動作しているデータやコンテキストの統計的性質が時間とともに変化し、性能が低下する現象を指す。提案手法では, 目標分布として生産データのサンプルを符号化し, モデルトレーニングデータを基準分布として符号化する。また,ドリフトの根本原因である生産データのサブセットも同定する。これらの高ドリフトサンプルを用いて再トレーニングしたモデルでは、オンライン顧客エクスペリエンスの品質指標のパフォーマンスが改善された。
論文参考訳（メタデータ） (2023-09-07T16:45:42Z)
Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文参考訳（メタデータ） (2023-03-24T16:03:21Z)
Unsupervised Unlearning of Concept Drift with Autoencoders [5.41354952642957]
コンセプトドリフトは、将来のサンプルのデータストリームに影響を与えるデータ分散の変化を指す。本稿では,世界レベルでの教師なしおよびモデルに依存しないドリフト適応手法を提案する。
論文参考訳（メタデータ） (2022-11-23T14:52:49Z)
Autoregressive based Drift Detection Method [0.0]
我々はADDMと呼ばれる自己回帰モデルに基づく新しい概念ドリフト検出手法を提案する。以上の結果から,新しいドリフト検出法は最先端ドリフト検出法よりも優れていることがわかった。
論文参考訳（メタデータ） (2022-03-09T14:36:16Z)
Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。 UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
論文参考訳（メタデータ） (2021-07-05T08:56:36Z)
Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
論文参考訳（メタデータ） (2021-02-23T09:17:05Z)
Drift Estimation with Graphical Models [0.0]
グラフィカルモデルを用いて、データの可視構造を抽出し、隠れたコンテキストの変化から推測する。本研究は,オーストラリア電力市場における実世界データを用いた評価手法である。
論文参考訳（メタデータ） (2021-02-02T12:24:34Z)
Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
論文参考訳（メタデータ） (2021-01-07T07:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。