論文の概要: Sharp analysis of out-of-distribution error for "importance-weighted" estimators in the overparameterized regime

• arxiv url: http://arxiv.org/abs/2405.06546v1
• Date: Fri, 10 May 2024 15:43:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 15:28:24.860858
• Title: Sharp analysis of out-of-distribution error for "importance-weighted" estimators in the overparameterized regime
• Title（参考訳）: 過パラメータ化状態における「重要度重み付き」推定器の分布外誤差のシャープ解析
• Authors: Kuo-Wei Lai, Vidya Muthukumar,
• Abstract要約: 我々は「重要重み」を組み込んだコスト感受性補間解の分布内および分布外テスト誤差を解析する。 我々の分析は上界と下界を一致させて鋭く、データ次元に関する仮定を著しく弱めている。 誤差の特徴は重みの選択にも当てはまり、最悪の場合のロバスト性から分布シフト、平均精度の間には新たなトレードオフが浮かび上がっています。
• 参考スコア（独自算出の注目度）: 5.653716495767272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overparameterized models that achieve zero training error are observed to generalize well on average, but degrade in performance when faced with data that is under-represented in the training sample. In this work, we study an overparameterized Gaussian mixture model imbued with a spurious feature, and sharply analyze the in-distribution and out-of-distribution test error of a cost-sensitive interpolating solution that incorporates "importance weights". Compared to recent work Wang et al. (2021), Behnia et al. (2022), our analysis is sharp with matching upper and lower bounds, and significantly weakens required assumptions on data dimensionality. Our error characterizations also apply to any choice of importance weights and unveil a novel tradeoff between worst-case robustness to distribution shift and average accuracy as a function of the importance weight magnitude.
• Abstract（参考訳）: トレーニングエラーをゼロとする過度パラメータ化モデルは, 平均でよく一般化されるが, トレーニングサンプルに不足したデータに直面すると, 性能が低下する。 本研究では, 過パラメータ化ガウス混合モデルに突発的特徴を付与し, 「重要重み」を組み込んだコスト感受性補間溶液の分布内および分布外試験誤差を鋭く解析する。 近年の Wang et al (2021), Behnia et al (2022) と比較すると,我々の分析は上界と下界の一致で鋭く,データ次元に関する要求仮定を著しく弱めている。 誤差特性は重みの任意の選択にも適用でき、最短ケースのロバスト性から分布シフト、および重みの関数としての平均精度との新たなトレードオフが明らかにされる。

関連論文リスト

• Optimizing importance weighting in the presence of sub-population shifts [0.0]
  トレーニングデータとテストデータの間の分散シフトは、機械学習モデルの性能を著しく損なう可能性がある。 トレーニングデータの有限標本サイズによる推定モデルのばらつきの増大を無視するため,既存の重み付けは準最適であると主張する。 重みとモデルパラメータを同時に最適化する二段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T09:21:10Z)
• Correcting sampling biases via importance reweighting for spatial modeling [2.6862667248315386]
  機械学習モデルでは、分布バイアスによってエラーの見積もりが複雑になることが多い。 本稿では,重要サンプリングの考え方に基づいて,対象誤差の偏りのない推定値を求める手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T15:36:28Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• On the Importance of Feature Separability in Predicting Out-Of-Distribution Error [25.995311155942016]
  そこで本研究では,分布シフト時のテスト精度を推定するために,特徴分散に基づくデータセットレベルスコアを提案する。 本手法は,表現学習における特徴の望ましい特性,すなわちクラス間分散とクラス内コンパクト性に着想を得たものである。
  論文  参考訳（メタデータ） (2023-03-27T09:52:59Z)
• A Universal Trade-off Between the Model Size, Test Loss, and Training Loss of Linear Predictors [19.66604745431462]
  テストデータでうまく機能するモデルは"古典的"で、ノイズレベルに近いトレーニング損失を持つか、"現代"であるかを示す。 マルテンコ・パストゥル解析は、トレーニングデータに適合するパラメータの数が十分であるピーク付近でははるかに正確であるが、過度なパラメータ化のレベルが増加するにつれて、分布独立境界と正確に一致することを示す。
  論文  参考訳（メタデータ） (2022-07-23T23:25:16Z)
• Wasserstein Distributionally Robust Estimation in High Dimensions: Performance Analysis and Optimal Hyperparameter Tuning [0.0]
  雑音線形測定から未知パラメータを推定するための分布的ロバストな推定フレームワークを提案する。 このような推定器の2乗誤差性能を解析する作業に着目する。 凸凹最適化問題の解法として2乗誤差を復元できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:02:59Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。