論文の概要: Annotations Mitigate Post-Training Mode Collapse

• arxiv url: http://arxiv.org/abs/2605.09995v1
• Date: Mon, 11 May 2026 05:11:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.538343
• Title: Annotations Mitigate Post-Training Mode Collapse
• Title（参考訳）: 訓練後モードの崩壊を緩和するアノテーション
• Authors: Jacob Mitchell Springer, Madhu Advani, Lukas Aichberger, Arwen Bradley, Eran Malach, Omid Saremi, Sinead Williamson, Preetum Nakkiran, Etai Littwin, Aditi Raghunathan,
• Abstract要約: ポストトレーニングは命令フォローを改善するが、セマンティックモードの崩壊を引き起こす。 本稿では,モデルがポストトレーニングの嗜好追従行動を採用することができるアノテーション・アンコレッド・トレーニングを提案する。 アノテーションアンコールトレーニングでトレーニングされたモデルは、SFTでトレーニングしたモデルよりも6倍の多様性崩壊を達成でき、スケールで改善できる。
• 参考スコア（独自算出の注目度）: 45.87946000727606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training (via supervised fine-tuning) improves instruction-following, but often induces semantic mode collapse by biasing models toward low-entropy fine-tuning data at the expense of the high-entropy pretraining distribution. Crucially, we find this trade-off worsens with scale. To close this semantic diversity gap, we propose annotation-anchored training, a principled method that enables models to adopt the preference-following behaviors of post-training without sacrificing the inherent diversity of pretraining. Our approach is simple: we pretrain on documents paired with semantic annotations, inducing a rich annotation distribution that reflects the full breadth of pretraining data, and we preserve this distribution during post-training. This lets us sample diverse annotations at inference time and use them as anchors to guide generation, effectively transferring pretraining's semantic richness into post-trained models. We find that models trained with annotation-anchored training can attain $6 \times$ less diversity collapse than models trained with SFT, and improve with scale.
• Abstract（参考訳）: ポストトレーニング(教師付き微調整)は命令追従を改善するが、しばしば高エントロピー事前学習分布を犠牲にして低エントロピー微調整データへのバイアスモデルによるセマンティックモードの崩壊を引き起こす。 重要なことに、このトレードオフはスケールによって悪化する。 このセマンティックな多様性のギャップを埋めるために、モデルが事前学習の固有の多様性を犠牲にすることなく、後学習の嗜好追従行動を採用することができるような、アノテーション・アンコレッド・トレーニングを提案する。 我々は、セマンティックアノテーションと組み合わせた文書を事前学習し、事前学習データの全幅を反映したリッチなアノテーション分布を誘導し、この分布をポストトレーニング中に保持する。 これにより、さまざまなアノテーションを推論時にサンプリングし、それらをアンカーとして使用して生成をガイドし、事前トレーニングのセマンティックリッチネスをトレーニング後のモデルに効果的に転送することができます。 アノテーションアンコールトレーニングでトレーニングされたモデルは、SFTでトレーニングしたモデルよりも6 \times$低多様性の崩壊を達成でき、スケールで改善できる。

関連論文リスト

• The Limitations of Model Retraining in the Face of Performativity [6.130998208629276]
  簡単な分布シフトであっても, ナイーブリトレーニングは, 確実に準最適であることを示す。 再学習に正規化を加えることで、これら2つの問題を正し、分布シフトに直面した証明可能な最適モデルが得られることを示す。
  論文  参考訳（メタデータ） (2024-08-16T02:53:01Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Ask Your Distribution Shift if Pre-Training is Right for You [67.90850628695563]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration [38.4461170690033]
  セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。 DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。 セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
  論文  参考訳（メタデータ） (2023-08-23T10:59:20Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [56.48290708901531]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。