論文の概要: A Domain-Region Based Evaluation of ML Performance Robustness to Covariate Shift

• arxiv url: http://arxiv.org/abs/2304.08855v1
• Date: Tue, 18 Apr 2023 09:40:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 15:28:38.582049
• Title: A Domain-Region Based Evaluation of ML Performance Robustness to Covariate Shift
• Title（参考訳）: 共変量シフトに対するml性能ロバスト性の評価に基づくドメイン領域
• Authors: Firas Bayram and Bestoun S. Ahmed
• Abstract要約: 従来の機械学習モデルの性能を実験的に評価した。 高次元実験では、モデルの性能は分類関数の複雑さに大きく影響される。 その結果, トレーニングサンプルの入力空間領域に高密度の領域に対して, モデルが高いバイアスを示すことがわかった。
• 参考スコア（独自算出の注目度）: 0.15229257192293197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most machine learning methods assume that the input data distribution is the same in the training and testing phases. However, in practice, this stationarity is usually not met and the distribution of inputs differs, leading to unexpected performance of the learned model in deployment. The issue in which the training and test data inputs follow different probability distributions while the input-output relationship remains unchanged is referred to as covariate shift. In this paper, the performance of conventional machine learning models was experimentally evaluated in the presence of covariate shift. Furthermore, a region-based evaluation was performed by decomposing the domain of probability density function of the input data to assess the classifier's performance per domain region. Distributional changes were simulated in a two-dimensional classification problem. Subsequently, a higher four-dimensional experiments were conducted. Based on the experimental analysis, the Random Forests algorithm is the most robust classifier in the two-dimensional case, showing the lowest degradation rate for accuracy and F1-score metrics, with a range between 0.1% and 2.08%. Moreover, the results reveal that in higher-dimensional experiments, the performance of the models is predominantly influenced by the complexity of the classification function, leading to degradation rates exceeding 25% in most cases. It is also concluded that the models exhibit high bias towards the region with high density in the input space domain of the training samples.
• Abstract（参考訳）: ほとんどの機械学習手法は、入力データ分布がトレーニングとテストフェーズで同じであると仮定する。 しかし、実際には、この定常性は通常満たされず、入力の分布が異なるため、デプロイメントにおける学習モデルの予期せぬパフォーマンスにつながる。 トレーニングデータとテストデータ入力が異なる確率分布に従うが、入出力関係は変化しないという問題を共変量シフトと呼ぶ。 本稿では,従来の機械学習モデルの性能を共変量シフトの存在下で実験的に評価した。 さらに,入力データの確率密度関数の領域を分解し,領域ごとの分類器の性能を評価することにより,領域に基づく評価を行った。 分布変化は2次元分類問題においてシミュレートされた。 その後、より高次の4次元実験が行われた。 実験解析に基づき、ランダムフォレストアルゴリズムは2次元の場合において最も頑健な分類器であり、精度とf1-scoreメトリクスの低下率が最も低く、0.1%から2.08%の範囲である。 さらに, 高次元実験では, モデルの性能は分類関数の複雑さに大きく影響され, ほとんどの場合, 劣化率が25%を超えることが判明した。 また、トレーニングサンプルの入力空間領域に高密度の領域に対して高い偏りを示すことが結論された。

関連論文リスト

• Anisotropic Diffusion Probabilistic Model for Imbalanced Image Classification [8.364943466191933]
  非平衡画像分類問題に対する異方性拡散確率モデル(ADPM)を提案する。 我々は,データ分布を用いて,前処理中の異なるクラスサンプルの拡散速度を制御し,逆処理におけるデノイザの分類精度を効果的に向上する。 その結果, 異方性拡散モデルにより, ヘッドクラスの精度を維持しつつ, 希少クラスの分類精度が著しく向上することが確認された。
  論文  参考訳（メタデータ） (2024-09-22T04:42:52Z)
• Enhancing Out-of-Distribution Detection with Multitesting-based Layer-wise Feature Fusion [11.689517005768046]
  アウト・オブ・ディストリビューション(Out-of-distriion)サンプルは、トレーニング分布と比較して、局所的またはグローバルな特徴の変化を示す可能性がある。 本稿では,新しいフレームワーク,Multitesting-based Layer-wise Out-of-Distribution (OOD) を提案する。 本手法は, ベースライン法と比較して, 分布外検出の性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-03-16T04:35:04Z)
• FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
  フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。 最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。 凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
  論文  参考訳（メタデータ） (2024-02-27T15:53:15Z)
• On the Importance of Feature Separability in Predicting Out-Of-Distribution Error [25.995311155942016]
  そこで本研究では,分布シフト時のテスト精度を推定するために,特徴分散に基づくデータセットレベルスコアを提案する。 本手法は,表現学習における特徴の望ましい特性,すなわちクラス間分散とクラス内コンパクト性に着想を得たものである。
  論文  参考訳（メタデータ） (2023-03-27T09:52:59Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Instrumental Variable-Driven Domain Generalization with Unobserved Confounders [53.735614014067394]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから、目に見えないターゲットドメインをうまく一般化できるモデルを学ぶことを目的としている。 観測不能な共同創設者のバイアスを2段階学習で除去し,インストゥルメンタル変数駆動型DG法(IV-DG)を提案する。 第1段階では、あるドメインの入力特徴の条件分布を他のドメインの入力特徴の条件分布として学習する。 第2段階では,ラベルと学習条件分布の関係を推定する。
  論文  参考訳（メタデータ） (2021-10-04T13:32:57Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
  深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。 トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。 トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-04-16T03:54:21Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。