論文の概要: Which Pretrain Samples to Rehearse when Finetuning Pretrained Models?

• arxiv url: http://arxiv.org/abs/2402.08096v1
• Date: Mon, 12 Feb 2024 22:32:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 17:16:50.178447
• Title: Which Pretrain Samples to Rehearse when Finetuning Pretrained Models?
• Title（参考訳）: 訓練済みモデルの微調整時にリハーサルするプレトレインサンプルは?
• Authors: Andrew Bai, Chih-Kuan Yeh, Cho-Jui Hsieh, Ankur Taly
• Abstract要約: 特定のタスクに関する微調整済みモデルが、テキストとビジョンタスクの事実上のアプローチになった。 このアプローチの落とし穴は、微調整中に起こる事前学習の知識を忘れることである。 本研究では,実際に忘れられているサンプルを識別・優先順位付けする新しいサンプリング手法であるmix-cdを提案する。
• 参考スコア（独自算出の注目度）: 60.59376487151964
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fine-tuning pretrained foundational models on specific tasks is now the de facto approach for text and vision tasks. A known pitfall of this approach is the forgetting of pretraining knowledge that happens during finetuning. Rehearsing samples randomly from the pretrain dataset is a common approach to alleviate such forgetting. However, we find that random mixing unintentionally includes samples which are not (yet) forgotten or unlearnable by the model. We propose a novel sampling scheme, mix-cd, that identifies and prioritizes samples that actually face forgetting, which we call collateral damage. Since directly identifying collateral damage samples is computationally expensive, we propose a procedure to estimate the distribution of such samples by tracking the statistics of finetuned samples. Our approach is lightweight, easy to implement, and can be seamlessly integrated into existing models, offering an effective means to retain pretrain performance without additional computational costs.
• Abstract（参考訳）: 特定のタスクに関する微調整された基礎モデルが、テキストおよび視覚タスクの事実上のアプローチとなった。 このアプローチの既知の落とし穴は、微調整中に起こる事前学習知識の忘れることだ。 プレトレインデータセットからランダムにサンプルをリハーサルすることは、そのような忘れを緩和するための一般的なアプローチである。 しかし、ランダムな混合には、モデルによって忘れられたり、学習できなかったりしないサンプルが含まれる。 そこで我々は,実際に忘れられているサンプルを識別し,優先する新しいサンプリング手法であるmix-cdを提案する。 副次的損傷の直接同定は計算コストがかかるため, 微調整標本の統計を追跡し, その分布を推定する手法を提案する。 我々のアプローチは軽量で実装が容易で、既存のモデルにシームレスに統合することができ、計算コストを増すことなく事前訓練性能を維持する効果的な手段を提供する。

関連論文リスト

• Upweighting Easy Samples in Fine-Tuning Mitigates Forgetting [15.251425165987987]
  下流タスクで事前訓練されたモデルを微調整すると、元の能力は劣化することが多い。 本稿では,事前学習したモデルの損失に基づく微調整データのサンプル重み付け手法を提案する。 我々は,言語と視覚の両方における手法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2025-02-05T00:49:59Z)
• Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
  ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。 拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。 我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
  論文  参考訳（メタデータ） (2025-01-22T18:52:06Z)
• One-step Noisy Label Mitigation [86.57572253460125]
  ノイズラベルのトレーニング過程に対する有害な影響の軽減がますます重要になっている。 モデルに依存しないノイズラベル緩和パラダイムである1ステップアンチノイズ(OSA)を提案する。 我々はOSAの優位性を実証的に実証し、トレーニングの堅牢性の向上、タスク転送性の向上、デプロイメントの容易性、計算コストの削減を強調した。
  論文  参考訳（メタデータ） (2024-10-02T18:42:56Z)
• DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting [14.390842560217743]
  本稿では、回帰予測タスクのためのDistPredという新しい手法を提案する。 予測分布と対象分布の差分を測定するための適切なスコアリングルールを、微分可能な離散形式に変換する。 これにより、モデルは単一のフォワードパスで多数のサンプルをサンプリングし、応答変数の潜在的分布を推定することができる。
  論文  参考訳（メタデータ） (2024-06-17T10:33:00Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Plug-and-Play split Gibbs sampler: embedding deep generative priors in Bayesian inference [12.91637880428221]
  本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。 後方サンプリングの課題を2つの単純なサンプリング問題に分割する。 その性能は最近の最先端の最適化とサンプリング手法と比較される。
  論文  参考訳（メタデータ） (2023-04-21T17:17:51Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。