論文の概要: Model Annealing: Data-Efficient Learning through Review and Consolidation
- arxiv url: http://arxiv.org/abs/2611.17524v1
- Date: Thu, 12 Nov 2026 21:19:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.26119
- Title: Model Annealing: Data-Efficient Learning through Review and Consolidation
- Title(参考訳): Model Annealing: レビューと統合によるデータ効率のよい学習
- Abstract要約: トレーニングは、学習率が再び上昇し、冷却されたエピソードに分けられ、すべての冷却された状態が過去の記憶に合流する。
それぞれのエピソードはラベルから学び、この記憶の誘惑的な予測から学び、敵対的な夢から学生と記憶が最も一致しない場所を探す。
メモリは重みではなく予測を平均し、ネットワークは最後の学生なので、推論に余分な費用はかからない。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A small labelled dataset is memorized long before the training budget runs out, and the one-hot labels that remain to be fitted then mostly sharpen confidence. Model annealing spends the rest of the budget on review and consolidation, relearning from the network's own knowledge. Training is divided into episodes whose learning rate is raised again and cooled, every cooled state joins a memory of past selves, and each new episode learns from the labels, from the tempered predictions of this memory, and from adversarial dreams sought where student and memory disagree most. The memory averages predictions rather than weights, and the deployed network is the last student, so inference costs nothing extra. Across CIFAR-100, Tiny-ImageNet and Imagewoof, four architecture families and 5\% to 100\% of the labels, model annealing raises the top-1 accuracy of the AdamW-trained ConvNeXt, ViT and MLP-Mixer over cross-entropy training in 28 of 33 configurations, by 1.3 points on average, and is on par in accuracy with snapshot distillation, the closest competitor. On these families it is better than both in likelihood, calibration and robustness to corruptions and small adversarial perturbations. For an SGD-trained ResNet-18 it lowers accuracy but still improves robustness to small adversarial perturbations. Separating the reheated schedule from relearning shows that relearning helps every family and that the losses come from reheats, which undo most of this network's fit to its training set. How early the accuracy of a cross-entropy run saturates largely separates the AdamW families from ResNet-18 but does not predict the gain within them. With little data, relearning from the latest snapshot without dreams, as snapshot distillation does, compounds overconfidence in the AdamW families from episode to episode. The memory and the dreams each curb most of this drift, and together they remove it.
- Abstract(参考訳): トレーニング予算が切れるずっと前に、小さなラベル付きデータセットが記憶されます。
モデルアニールは、残りの予算をレビューと統合に費やし、ネットワーク自身の知識から再学習する。
トレーニングは、学習率が再び上昇し、冷却されたエピソードに分けられ、すべての冷却された状態が過去の自分自身の記憶に合流し、新しいエピソードは、この記憶の誘惑的な予測から、そして、学生と記憶が最も一致しない場所を求める敵の夢から、ラベルから学習される。
メモリは重みではなく予測を平均し、ネットワークは最後の学生なので、推論に余分な費用はかからない。
CIFAR-100、Tiny-ImageNet、Imagewoofの4つのアーキテクチャファミリと5\%から100\%のラベルを持つモデルアニールは、AdamWでトレーニングされたConvNeXt、ViT、MLP-Mixerの、33のコンフィグレーションのうち28のクロスエントロピートレーニングにおいて、平均1.3ポイントの精度で、AdamWでトレーニングされたConvNeXt、ViT、MLP-Mixerのトップ1の精度を、最も近い競合相手であるスナップショット蒸留と同等に向上させる。
これらの家族では、汚職に対する可能性、校正、堅牢性、および小さな敵対的摂動よりも優れている。
SGDで訓練されたResNet-18では、精度は低下するが、小さな逆方向の摂動に対して頑健性は向上する。
再学習から再熱したスケジュールを分離すると、再学習はすべての家族を助け、損失は再熱によるものであることが分かる。
クロスエントロピー実行の精度がどの程度早く飽和するかは、AdamWファミリーをResNet-18から大きく分離するが、それら内での利得を予測しない。
少ないデータでは、最新のスナップショットから夢も見ずに再学習し、スナップショットの蒸留のように、エピソードごとにAdamWファミリーの化合物が過信される。
記憶と夢は、それぞれこの漂流の大部分を抑え、一緒に取り除く。
関連論文リスト
- Hippocampal consolidation without replay in fully fine-tuned networks [2.7716102039510564]
完全にトレーニング可能なネットワークは、クロスタスクのリプレイや教師、推論時のメモリを使わずに学習し続ける。
各タスクの後、トレーニング専用の海馬記憶は、シナプスの各グループの入力幾何学をインデックス化する。
論文 参考訳(メタデータ) (2026-11-01T14:32:16Z) - ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling [0.0]
我々は,現在のVITOKの進歩を,グローバルな認識と密接なセマンティクスを共同で保存する,単一のマルチティーチンガー蒸留レシピに統合する方法について検討する。
我々の出発点は、SigLIP2とDINOv3-Lから蒸留されたAM-RADIOスタイルの学生で、SigLIP2は強力なグローバルセマンティクスを提供し、DINOv3-Lはより強い高密度な特徴を提供する。
このトレードオフをより明確にし、より管理しやすいものにする修正の進歩を要約します。
その結果、83.2のパッチkNNと85.2のCLSkNNに到達し、ImageNet-1K kNN分類におけるDINOv3-Lの教師をわずかに上回った。
論文 参考訳(メタデータ) (2026-10-02T06:54:02Z) - Unmerge: Efficient Machine Unlearning via Task Arithmetic [12.213164906982668]
近似マシンアンラーニングは、完全に再トレーニングすることなく、トレーニングされたモデルから忘れられたセットの影響を取り除くことを目指している。
我々はタスク算術のレンズを通してアンラーニングをリキャストする。
我々は3つの直感的な目標(分割ベクトルを分割し、保持空間へのリークを抑え、補正サイズを限定する)を最適化する。
論文 参考訳(メタデータ) (2026-09-30T03:41:21Z) - Anatomy of Unlearning: The Dual Impact of Fact Salience and Model Fine-Tuning [59.19460954480119]
忘れられた知識が事前学習や教師付き微調整に由来するかどうかを考察する。
実験の結果,事前学習モデルとSFTモデルは未学習に対して異なる反応を示した。
論文 参考訳(メタデータ) (2026-02-23T08:58:48Z) - Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free
Ensembles of DNNs [9.010643838773477]
本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。
オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。
我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に追加のコストを要さず,大幅な改善を実現する。
論文 参考訳(メタデータ) (2023-10-17T09:22:22Z) - SAFE: Machine Unlearning With Shard Graphs [100.12621304361288]
本稿では,大規模モデルを多種多様なデータ集合に適応させる手法であるSynergy Aware Forgetting Ensemble (SAFE)を提案する。
SAFEは軽量なアダプタシステムを使用し、ほとんどの計算を再利用しながらトレーニングすることができる。
これにより、SAFEは現在の最先端の方法よりも小さなシャードの順序でトレーニングすることができる。
論文 参考訳(メタデータ) (2023-04-25T22:02:09Z) - Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural
Networks [12.525959293825318]
我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。
LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。
トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
論文 参考訳(メタデータ) (2023-03-18T16:45:54Z) - Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。
RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。
その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1~3%の精度でテストできることがわかった。
論文 参考訳(メタデータ) (2022-06-03T02:26:24Z) - DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial
Estimation [109.11580756757611]
メンバー間の多様性のおかげで、ディープアンサンブルは単一のネットワークよりもパフォーマンスが良い。
最近のアプローチでは、多様性を高めるための予測を規則化していますが、個々のメンバーのパフォーマンスも大幅に減少します。
DICEと呼ばれる新しいトレーニング基準を導入し、特徴間の素早い相関を減らして多様性を高める。
論文 参考訳(メタデータ) (2021-01-14T10:53:26Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳(メタデータ) (2020-07-07T11:27:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。