論文の概要: Post-Hoc Reversal: Are We Selecting Models Prematurely?

• arxiv url: http://arxiv.org/abs/2404.07815v2
• Date: Fri, 04 Oct 2024 00:11:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:08:37.512889
• Title: Post-Hoc Reversal: Are We Selecting Models Prematurely?
• Title（参考訳）: ホック後の逆転: モデルの選択は時期尚早か?
• Authors: Rishabh Ranjan, Saurabh Garg, Mrigank Raman, Carlos Guestrin, Zachary Lipton,
• Abstract要約: ポストホック変換を適用した後に性能傾向が逆転するポストホック逆転現象を示す。 予備的な分析は、これらの変換が、誤ラベルされた例の影響を抑えることによって、逆転を引き起こすことを示唆している。 ポストホック選択(post-hoc selection)は、ポストホックメトリクスがモデル開発決定を通知するシンプルな手法である。
• 参考スコア（独自算出の注目度）: 13.910702424593797
• License:
• Abstract: Trained models are often composed with post-hoc transforms such as temperature scaling (TS), ensembling and stochastic weight averaging (SWA) to improve performance, robustness, uncertainty estimation, etc. However, such transforms are typically applied only after the base models have already been finalized by standard means. In this paper, we challenge this practice with an extensive empirical study. In particular, we demonstrate a phenomenon that we call post-hoc reversal, where performance trends are reversed after applying post-hoc transforms. This phenomenon is especially prominent in high-noise settings. For example, while base models overfit badly early in training, both ensembling and SWA favor base models trained for more epochs. Post-hoc reversal can also prevent the appearance of double descent and mitigate mismatches between test loss and test error seen in base models. Preliminary analyses suggest that these transforms induce reversal by suppressing the influence of mislabeled examples, exploiting differences in their learning dynamics from those of clean examples. Based on our findings, we propose post-hoc selection, a simple technique whereby post-hoc metrics inform model development decisions such as early stopping, checkpointing, and broader hyperparameter choices. Our experiments span real-world vision, language, tabular and graph datasets. On an LLM instruction tuning dataset, post-hoc selection results in >1.5x MMLU improvement compared to naive selection.
• Abstract（参考訳）: トレーニングされたモデルは、しばしば、パフォーマンス、堅牢性、不確実性推定などを改善するために、温度スケーリング(TS)、エンハンブル、確率的ウェイト平均化(SWA)などのポストホット変換で構成される。 しかし、そのような変換は通常、基本モデルが既に標準手段で確定した後のみ適用される。 本稿では,この実践に対して,広範な実証的研究を施して挑戦する。 特に,ポストホック変換を適用した後に性能傾向が逆転するポストホック逆転現象を示す。 この現象は特に高音域で顕著である。 例えば、ベースモデルは訓練の初期段階では過度に適合するが、アンサンブルとSWAはどちらも、よりエポックな訓練のために訓練されたベースモデルを好む。 ポストホック逆転はまた、二重降下の出現を防ぎ、ベースモデルに見られるテスト損失とテストエラーのミスマッチを軽減する。 予備的な分析は、これらの変換は、誤ラベルされた例の影響を抑え、それらの学習力学とクリーンな例の違いを生かして、逆転を引き起こすことを示唆している。 そこで本研究では,ポストホック選択(post-hoc selection)を提案する。これは,ポストホックメトリクスが早期停止,チェックポイント,広範囲なハイパーパラメータ選択などのモデル開発決定を通知する簡単な手法である。 私たちの実験は、実世界のビジョン、言語、表、グラフのデータセットにまたがっています。 LLM命令チューニングデータセットでは、ポストホック選択は単純選択に比べて1.5倍MMLU改善する。

関連論文リスト

• Reducing Bias in Pre-trained Models by Tuning while Penalizing Change [8.862970622361747]
  大量のデータに基づいてトレーニングされた深層モデルには、トレーニング期間中に存在する暗黙のバイアスが組み込まれていることが多い。 新しいデータは、しばしば高価で、自律運転や医療意思決定のような分野では入手が困難である。 本稿では,事前学習モデルを用いて,事前検出したバイアスを軽減するために重みを適応する変化ペナライゼーションに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-04-18T16:12:38Z)
• Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities [17.082695183953486]
  一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。 ここでは、バイアスドモデルが機能をショートカットする、という前提がある。 本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-06T15:21:41Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Mitigating Catastrophic Forgetting in Scheduled Sampling with Elastic Weight Consolidation in Neural Machine Translation [15.581515781839656]
  最大推定値で訓練された自己回帰モデルは、露出バイアスに悩まされる。 露光バイアスの軽減と出力品質の維持のトレードオフとして, 弾性重み強化(Elastic Weight Consolidation)を提案する。 2つのIWSLT'14翻訳タスクの実験は、我々のアプローチが破滅的な忘れを軽減し、BLEUを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-09-13T20:37:58Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。