Fugu-MT 論文翻訳(概要): Evaluation of autonomous systems under data distribution shifts

論文の概要: Evaluation of autonomous systems under data distribution shifts

arxiv url: http://arxiv.org/abs/2406.20046v1
Date: Fri, 28 Jun 2024 16:58:32 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 16:10:57.845616
Title: Evaluation of autonomous systems under data distribution shifts
Title（参考訳）: データ分散シフト下における自律システムの評価
Authors: Daniel Sikar, Artur Garcez,
Abstract要約: 我々は、データはデータ分散シフトの一定のしきい値までしか使用できないと主張している。トレーニングデータとテストデータ間の距離メトリクスを提案し,そのシフト内での安全な操作限界を定義する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We posit that data can only be safe to use up to a certain threshold of the data distribution shift, after which control must be relinquished by the autonomous system and operation halted or handed to a human operator. With the use of a computer vision toy example we demonstrate that network predictive accuracy is impacted by data distribution shifts and propose distance metrics between training and testing data to define safe operation limits within said shifts. We conclude that beyond an empirically obtained threshold of the data distribution shift, it is unreasonable to expect network predictive accuracy not to degrade
Abstract（参考訳）: 我々は、データはデータ分散シフトの一定のしきい値までしか使用できないと仮定し、その後、自律システムによって制御を放棄し、人間のオペレーターに操作を停止または渡さなければならないと仮定する。コンピュータビジョン玩具の例を用いて、ネットワーク予測精度がデータ分散シフトの影響を受けていることを実証し、トレーニングとテストデータ間の距離メトリクスを提案し、そのシフト内で安全な操作限界を定義する。我々は、データ分散シフトの実験的に得られたしきい値を超えると、ネットワーク予測精度が劣化しないように期待することは理にかなっていると結論付けた。

関連論文リスト

When to Accept Automated Predictions and When to Defer to Human Judgment? [1.9922905420195367]
我々は、トレーニングされたニューラルネットワークの出力がどのように変化するかをクラスタリングを用いて分析し、出力とクラスセントロイド間の距離を測定する。本稿では,分布変化による予測の信頼度を評価する指標として,この距離を提案する。
論文参考訳（メタデータ） (2024-07-10T16:45:52Z)
An Adaptive Method for Weak Supervision with Drifting Data [11.035811912078216]
非定常的な環境では,厳格な品質保証を施した適応手法を導入する。我々は、弱い監督源の精度が時間とともにドリフトできる非定常的なケースに焦点を当てる。我々のアルゴリズムはドリフトの大きさに関する仮定を一切必要とせず、入力に基づいて適応する。
論文参考訳（メタデータ） (2023-06-02T16:27:34Z)
Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
論文参考訳（メタデータ） (2022-08-16T08:03:30Z)
Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文参考訳（メタデータ） (2022-01-11T23:01:12Z)
Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文参考訳（メタデータ） (2021-07-07T15:50:18Z)
Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training [55.824641135682725]
WSJ をソースドメインとし,TED-Lium 3 とSWITCHBOARD を併用したドメイン適応実験を行った。
論文参考訳（メタデータ） (2020-11-26T18:51:26Z)
Evaluating Model Robustness and Stability to Dataset Shift [7.369475193451259]
機械学習モデルの安定性を解析するためのフレームワークを提案する。本手法では,アルゴリズムが性能の悪い分布を決定するために,元の評価データを用いる。我々は,アルゴリズムの性能を"Worst-case"分布で推定する。
論文参考訳（メタデータ） (2020-10-28T17:35:39Z)
Robust Fairness under Covariate Shift [11.151913007808927]
保護グループメンバーシップに関して公正な予測を行うことは、分類アルゴリズムの重要な要件となっている。本稿では,ターゲット性能の面で最悪のケースに対して頑健な予測値を求める手法を提案する。
論文参考訳（メタデータ） (2020-10-11T04:42:01Z)
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文参考訳（メタデータ） (2020-06-26T13:50:19Z)
Understanding Self-Training for Gradual Domain Adaptation [107.37869221297687]
段階的なドメイン適応は、対象領域へ徐々にシフトするラベルのないデータのみを与えられたソースドメインで訓練された初期分類器を適応させることが目的である。目標領域への直接適応が非有界誤差をもたらすような設定下において、段階的なシフトを伴う自己学習の誤差に対する最初の非無空上界を証明した。この理論解析はアルゴリズムの洞察を導き、無限のデータを持つ場合でも正規化とラベルのシャープ化が不可欠であることを強調し、より小さなワッサーシュタイン無限距離のシフトに対して自己学習が特にうまく働くことを示唆している。
論文参考訳（メタデータ） (2020-02-26T08:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。