論文の概要: An Analysis of Model Robustness across Concurrent Distribution Shifts
- arxiv url: http://arxiv.org/abs/2501.04288v1
- Date: Wed, 08 Jan 2025 05:27:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-09 14:55:29.876471
- Title: An Analysis of Model Robustness across Concurrent Distribution Shifts
- Title（参考訳）: 同時分布シフトにおけるモデルロバスト性の解析
- Authors: Myeongho Jeon, Suhwan Choi, Hyoje Lee, Teresa Yeo,
- Abstract要約: ソースデータに慎重に最適化された機械学習モデルは、分散シフト(DS)に直面した場合、しばしばターゲットデータを予測できない。
8つのデータセットから168つのソース・ターゲットペアにまたがる、単純な拡張からゼロショット推論まで、26のアルゴリズムを評価した。
100Kモデル以上の解析結果から,コンカレントDSは,特定の例外を除いて,単一シフトよりもパフォーマンスが低下することが判明した。
- 参考スコア（独自算出の注目度）: 6.043526197249358
- License:
- Abstract: Machine learning models, meticulously optimized for source data, often fail to predict target data when faced with distribution shifts (DSs). Previous benchmarking studies, though extensive, have mainly focused on simple DSs. Recognizing that DSs often occur in more complex forms in real-world scenarios, we broadened our study to include multiple concurrent shifts, such as unseen domain shifts combined with spurious correlations. We evaluated 26 algorithms that range from simple heuristic augmentations to zero-shot inference using foundation models, across 168 source-target pairs from eight datasets. Our analysis of over 100K models reveals that (i) concurrent DSs typically worsen performance compared to a single shift, with certain exceptions, (ii) if a model improves generalization for one distribution shift, it tends to be effective for others, and (iii) heuristic data augmentations achieve the best overall performance on both synthetic and real-world datasets.
- Abstract（参考訳）: ソースデータに慎重に最適化された機械学習モデルは、分散シフト(DS)に直面した場合、ターゲットデータを予測できないことが多い。
これまでのベンチマーク研究は、広くはあったが、主に単純なDSに焦点を当てていた。
実世界のシナリオでは、DSがより複雑な形で発生することが多いことを認識して、我々は研究を拡大し、複数の同時シフト、例えば目に見えない領域シフトと刺激的な相関を含むようにした。
基礎モデルを用いて、単純なヒューリスティック拡張からゼロショット推論までの26のアルゴリズムを、8つのデータセットから168のソースターゲットペアで評価した。
100Kモデルに対する我々の分析は、それを明らかにしている。
(i)コンカレントDSは、特定の例外を除いて、シングルシフトよりもパフォーマンスが悪くなるのが一般的である。
二 モデルが一分布シフトの一般化を改善した場合、他者にとって有効である傾向があること。
三 ヒューリスティックなデータ拡張は、合成データセットと実世界のデータセットの両方において、最高の総合的なパフォーマンスを達成する。
関連論文リスト
- MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。
本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文 参考訳（メタデータ） (2024-10-12T07:02:33Z) - Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。
因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文 参考訳（メタデータ） (2024-06-07T14:29:21Z) - SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。
スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。
スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
論文 参考訳（メタデータ） (2023-11-30T03:05:14Z) - Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。
実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
論文 参考訳（メタデータ） (2023-10-15T04:24:42Z) - Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。
私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
論文 参考訳（メタデータ） (2022-07-19T12:52:33Z) - An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation [91.62129090006745]
本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。
我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
論文 参考訳（メタデータ） (2022-05-25T13:04:53Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - A Fine-Grained Analysis on Distribution Shift [24.084676204709723]
本稿では,分布変化の微粒化解析を可能にするフレームワークを提案する。
合成と実世界の両方のデータセットにまたがる5つのカテゴリにグループ分けされた19の異なる手法を評価する。
私たちのフレームワークは簡単に拡張でき、新しいメソッド、シフト、データセットを含めることができます。
論文 参考訳（メタデータ） (2021-10-21T17:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。