論文の概要: Exploring the Design of Adaptation Protocols for Improved Generalization and Machine Learning Safety

• arxiv url: http://arxiv.org/abs/2207.12615v1
• Date: Tue, 26 Jul 2022 02:33:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-27 13:05:23.335372
• Title: Exploring the Design of Adaptation Protocols for Improved Generalization and Machine Learning Safety
• Title（参考訳）: 一般化と機械学習の安全性向上のための適応プロトコルの設計
• Authors: Puja Trivedi, Danai Koutra, Jayaraman J. Thiagarajan
• Abstract要約: 分散シフトと機械学習の安全性指標の共通適応プロトコルを評価する。 プロトコルが事前評価から明らかでない異種のトレードオフを引き起こすことが判明した。 LP中の硬度促進剤の使用と、強化したFTの使用は、特にトレードオフ緩和に有効である可能性がある。
• 参考スコア（独自算出の注目度）: 33.24980750651318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While directly fine-tuning (FT) large-scale, pretrained models on task-specific data is well-known to induce strong in-distribution task performance, recent works have demonstrated that different adaptation protocols, such as linear probing (LP) prior to FT, can improve out-of-distribution generalization. However, the design space of such adaptation protocols remains under-explored and the evaluation of such protocols has primarily focused on distribution shifts. Therefore, in this work, we evaluate common adaptation protocols across distributions shifts and machine learning safety metrics (e.g., anomaly detection, calibration, robustness to corruptions). We find that protocols induce disparate trade-offs that were not apparent from prior evaluation. Further, we demonstrate that appropriate pairing of data augmentation and protocol can substantially mitigate this trade-off. Finally, we hypothesize and empirically see that using hardness-promoting augmentations during LP and then FT with augmentations may be particularly effective for trade-off mitigation.
• Abstract（参考訳）: タスク固有データ上で直接微調整(ft)され、事前学習されたモデルが強い分散タスクパフォーマンスを誘導することはよく知られているが、近年の研究では、ft以前の線形プロッピング(lp)のような異なる適応プロトコルが、分散の一般化を改善することを実証している。 しかし、そのような適応プロトコルの設計空間は未探索のままであり、そのようなプロトコルの評価は主に分散シフトに焦点を当てている。 そこで本研究では,分散シフトや機械学習の安全性指標(異常検出,校正,汚職に対する堅牢性など)にまたがる共通適応プロトコルを評価する。 プロトコルが事前評価から明らかでない異種のトレードオフを引き起こすことがわかった。 さらに,データ拡張とプロトコルの適切な組み合わせにより,このトレードオフを大幅に緩和できることを示す。 最後に,LP中における硬度促進剤の使用と,拡張剤を用いたFTはトレードオフ緩和に特に有効であると考えられた。

関連論文リスト

• Adapting Conformal Prediction to Distribution Shifts Without Labels [16.478151550456804]
  コンフォーマル予測(CP)により、機械学習モデルは、保証されたカバレッジ率で予測セットを出力できる。 我々の目標は、テストドメインからのラベルなしデータのみを使用して、CP生成予測セットの品質を改善することです。 これは、未ラベルテストデータに対するベースモデルの不確実性に応じてCPのスコア関数を調整する、ECP と EACP と呼ばれる2つの新しい手法によって達成される。
  論文  参考訳（メタデータ） (2024-06-03T15:16:02Z)
• Efficient Conformal Prediction under Data Heterogeneity [79.35418041861327]
  コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。 非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。 この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-12-25T20:02:51Z)
• Conformal Prediction for Federated Uncertainty Quantification Under Label Shift [57.54977668978613]
  Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。 我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
  論文  参考訳（メタデータ） (2023-06-08T11:54:58Z)
• Characterizing Out-of-Distribution Error via Optimal Transport [15.284665509194134]
  ラベルなしでOODデータ上でモデルの性能を予測する方法は、機械学習の安全性にとって重要である。 最適輸送理論を利用してモデル性能を推定する新しい手法を提案する。 提案手法は既存の最先端手法よりも最大3倍低い予測誤差で大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-25T01:37:13Z)
• A Closer Look at Model Adaptation using Feature Distortion and Simplicity Bias [33.24980750651318]
  適応プロトコルの簡易バイアス(SB)に対する感受性について検討する。 SBは近年、ロバストな一般化においていくつかの問題を解くことが示されている。 我々は,SBを緩和する改良線形プローブを提案する。
  論文  参考訳（メタデータ） (2023-03-23T17:57:09Z)
• Improving Test-Time Adaptation via Shift-agnostic Weight Regularization and Nearest Source Prototypes [18.140619966865955]
  本稿では,対象ドメインからの未ラベルのオンラインデータのみを用いて,ソースドメイン上で事前学習したモデルを調整する新しいテスト時間適応手法を提案する。 提案手法は,各種標準ベンチマークの最先端性能を示すとともに,教師付きベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-24T10:17:05Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
  このようなリスク不変予測器の学習に重要な課題はショートカット学習である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2021-05-13T16:58:45Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。