Fugu-MT 論文翻訳(概要): Rethinking Streaming Machine Learning Evaluation

論文の概要: Rethinking Streaming Machine Learning Evaluation

arxiv url: http://arxiv.org/abs/2205.11473v1
Date: Mon, 23 May 2022 17:21:43 GMT
ステータス: 処理完了
システム内更新日: 2022-05-24 19:41:57.714383
Title: Rethinking Streaming Machine Learning Evaluation
Title（参考訳）: ストリーミング機械学習の評価再考
Authors: Shreya Shankar, Bernease Herman, Aditya G. Parameswaran
Abstract要約: ストリーミングML問題の性質が,新たな現実的課題(ラベルの到着遅延など)を導入し,ストリーミングMLのパフォーマンスを評価するための追加メトリクスを推奨する方法について論じる。
参考スコア（独自算出の注目度）: 9.69979862225396
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While most work on evaluating machine learning (ML) models focuses on computing accuracy on batches of data, tracking accuracy alone in a streaming setting (i.e., unbounded, timestamp-ordered datasets) fails to appropriately identify when models are performing unexpectedly. In this position paper, we discuss how the nature of streaming ML problems introduces new real-world challenges (e.g., delayed arrival of labels) and recommend additional metrics to assess streaming ML performance.
Abstract（参考訳）: 機械学習(ML)モデルを評価する作業の多くは、バッチデータの計算精度に重点を置いているが、ストリーミング設定(すなわち、タイムスタンプで順序付けされたデータセット)でのみのトラッキング精度は、モデルが予期しない動作を適切に識別できない。本稿では,ストリーミングML問題の性質が新たな現実的課題(ラベルの到着遅延など)をいかに導入するかを論じ,ストリーミングMLのパフォーマンスを評価するための追加指標を推奨する。

関連論文リスト

Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文参考訳（メタデータ） (2024-10-30T17:20:10Z)
A Systematic Review of Machine Learning Approaches for Detecting Deceptive Activities on Social Media: Methods, Challenges, and Biases [0.037693031068634524]
本稿では、機械学習(ML)モデルとディープラーニング(DL)モデルを用いて、ソーシャルメディア上の偽ニュース、スパム、偽アカウントを検出する研究を体系的に評価する。
論文参考訳（メタデータ） (2024-10-26T23:55:50Z)
Don't Push the Button! Exploring Data Leakage Risks in Machine Learning and Transfer Learning [0.0]
本稿では、意図しない情報がトレーニングデータを汚染し、モデルの性能評価に影響を与える機械学習(ML)における重要な問題に対処する。新たなデータに対する評価と実際のパフォーマンスの相違は大きな懸念事項である。データ漏洩と対処中の特定のタスクとの関係を調査し、Transfer Learningにおけるその発生を調査し、標準的なインダクティブMLとトランスダクティブMLフレームワークを比較します。
論文参考訳（メタデータ） (2024-01-24T20:30:52Z)
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。テキスト内学習と微調整によるラベル付きデータの影響について検討する。次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文参考訳（メタデータ） (2023-08-14T17:17:21Z)
Mitigating ML Model Decay in Continuous Integration with Data Drift Detection: An Empirical Study [7.394099294390271]
本研究では,CI環境におけるTCP用MLモデルのリトレーニングポイントを自動的に検出するデータドリフト検出手法の性能について検討する。我々はHellinger距離を用いて入力データの値と分布の変化を同定し、これらの変化をMLモデルの再学習点として利用した。 Hellinger distance-based methodの実験により,再学習点の検出と関連するコストの低減に効果と効率が示された。
論文参考訳（メタデータ） (2023-05-22T05:55:23Z)
A hybrid feature learning approach based on convolutional kernels for ATM fault prediction using event-log data [5.859431341476405]
イベントログデータから特徴を抽出するために,畳み込みカーネル(MiniROCKETとHYDRA)に基づく予測モデルを提案する。提案手法は,実世界の重要な収集データセットに適用される。このモデルは、ATMのタイムリーなメンテナンスにおいてオペレータをサポートするコンテナベースの意思決定支援システムに統合された。
論文参考訳（メタデータ） (2023-05-17T08:55:53Z)
Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文参考訳（メタデータ） (2022-11-08T19:00:00Z)
AI Total: Analyzing Security ML Models with Imperfect Data in Production [2.629585075202626]
新しい機械学習モデルの開発は通常、手動でキュレートされたデータセット上で行われる。本研究では,ユーザによるヘッドライン性能数値の収集を可能にするWebベースの可視化システムを開発した。また,何か問題が発生した場合に,問題の根本原因を即座に観察することも可能だ。
論文参考訳（メタデータ） (2021-10-13T20:56:05Z)
Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文参考訳（メタデータ） (2021-07-05T12:44:39Z)
Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文参考訳（メタデータ） (2021-06-14T11:42:46Z)
Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。