論文の概要: Generalization vs. Specialization under Concept Shift

• arxiv url: http://arxiv.org/abs/2409.15582v1
• Date: Mon, 23 Sep 2024 22:30:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 12:02:22.546398
• Title: Generalization vs. Specialization under Concept Shift
• Title（参考訳）: 概念シフト下における一般化と特殊化
• Authors: Alex Nguyen, David J. Schwab, Vudtiwat Ngampruetikorn,
• Abstract要約: 機械学習モデルは、分散シフトの下では不安定であることが多い。 二重降下が欠如している場合でも,テスト性能が非単調なデータ依存を示すことを示す。 MNISTとFashionMNISTの実験は、この興味深い挙動が分類問題にも存在することを示唆している。
• 参考スコア（独自算出の注目度）: 12.196508752999797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models are often brittle under distribution shift, i.e., when data distributions at test time differ from those during training. Understanding this failure mode is central to identifying and mitigating safety risks of mass adoption of machine learning. Here we analyze ridge regression under concept shift -- a form of distribution shift in which the input-label relationship changes at test time. We derive an exact expression for prediction risk in the high-dimensional limit. Our results reveal nontrivial effects of concept shift on generalization performance, depending on the properties of robust and nonrobust features of the input. We show that test performance can exhibit a nonmonotonic data dependence, even when double descent is absent. Finally, our experiments on MNIST and FashionMNIST suggest that this intriguing behavior is present also in classification problems.
• Abstract（参考訳）: 機械学習モデルは、しばしば分散シフトの下で脆く、すなわち、テスト時のデータ分布がトレーニング中と異なる場合である。 この障害モードを理解することは、機械学習の大量導入による安全性リスクを特定し緩和することの中心である。 ここでは、入力-ラベル関係がテスト時に変化する分布シフトの形で、概念シフトの下でリッジ回帰を分析する。 高次元限界における予測リスクの正確な表現を導出する。 この結果から, 概念シフトが一般化性能に与える影響は, 入力のロバスト性や非ロバスト性によって明らかになる。 二重降下が欠如している場合でも,テスト性能が非単調なデータ依存を示すことを示す。 最後に,MNIST と FashionMNIST に関する実験から,この興味深い挙動が分類問題にも現れることが示唆された。

関連論文リスト

• Multiple Descents in Unsupervised Learning: The Role of Noise, Domain Shift and Anomalies [14.399035468023161]
  教師なし学習における二重の子孫の存在について検討するが、これはほとんど注目されず、まだ完全には理解されていない領域である。 我々は、合成データと実データを用いて、様々なアプリケーションに対してモデルワイド、エポックワイド、サンプルワイドの二重降下を識別する。
  論文  参考訳（メタデータ） (2024-06-17T16:24:23Z)
• Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models [24.376036129920948]
  本研究では,データ拡張が視力事前訓練モデルの性能に与える影響について検討する。 ランダム消去(Random Erasing)、CutOut(CutOut)、CutMix(CutMix)、MixUp(MixUp)という4種類のデータ拡張を適用します。 画像分類,オブジェクト検出,インスタンスセグメンテーション,セマンティックセグメンテーションなどの視覚タスクにおける性能について報告する。
  論文  参考訳（メタデータ） (2023-10-28T23:46:31Z)
• Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues [19.4921353136871]
  実験サンプルがトレーニング中に見つからないパターンを示す場合の多様性シフトと、テストデータが観察された不変性と急激な特徴の異なる相関を示す場合の相関シフトの2種類について検討した。 そこで我々は,両タイプのシフトをデータセットを用いて分析し,制御可能な方法で共存する統合プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-05-09T23:40:23Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• Covariate Shift in High-Dimensional Random Feature Regression [44.13449065077103]
  共変量シフトは、堅牢な機械学習モデルの開発において重要な障害である。 現代の機械学習の文脈における理論的理解を示す。
  論文  参考訳（メタデータ） (2021-11-16T05:23:28Z)
• Evaluating Predictive Uncertainty and Robustness to Distributional Shift Using Real World Data [0.0]
  シフト天気予報データセットを用いて、一般的な回帰作業のためのメトリクスを提案する。 また,これらの指標を用いたベースライン手法の評価を行った。
  論文  参考訳（メタデータ） (2021-11-08T17:32:10Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。