論文の概要: Online Label-Free Gradient Matching for Continual Language Model Training

• arxiv url: http://arxiv.org/abs/2611.03496v1
• Date: Mon, 02 Nov 2026 17:37:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.627475
• Title: Online Label-Free Gradient Matching for Continual Language Model Training
• Title（参考訳）: 連続言語モデル学習のためのオンラインラベルなしグラディエントマッチング
• Abstract要約: OLGAは、モデル自身の次のトーケン予測から勾配マッチングターゲットを描画することでラベル付きデータを蒸留する。 最強のセレクションベースラインに対して、わずか5つの例を使用して、精度を10パーセント向上する。 蒸留とハイブリッドパイプラインの選択を組み合わせて大規模データにスケールする。
• 参考スコア（独自算出の注目度）: 1.5741367976134537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models in customer-facing products must be continually updated, since the data they serve shifts over time. As retraining on the full accumulated data is impractical, each update should instead run on a small set of examples carrying the training signal of all data seen so far. The strongest current methods build this set by gradient matching, which synthesizes examples whose training gradients match those of the full data. However, they require ground-truth labels, run once on a fixed snapshot rather than on a growing stream, and are slow on large data. We introduce \textbf{OLGA}, which lifts these limitations. It distills unlabeled data by drawing the gradient matching targets from the model's own next-token predictions. Across five text classification benchmarks with phi-1.5, it improves accuracy by 10 percentage points over the strongest selection baseline using as few as five examples. OLGA also distills online data streams by keeping a running rehearsal memory of synthetic examples, which is re-distilled together with each new batch as it arrives. In the online setting, it outperforms the strongest selection-based continual baseline by 6.6 stream-AUC percentage points. Finally, our method scales to large data by pairing distillation with selection in a hybrid pipeline, letting selection handle the mild stage of compression and distillation the extreme one. It cuts runtime by 30\% versus distillation alone at similar accuracy, and beats the best selection-only pipeline by up to 12.6 percentage points.
• Abstract（参考訳）: 顧客向け製品の言語モデルは、時間が経つにつれて変化するため、継続的に更新されなければならない。 完全な蓄積データの再トレーニングは現実的ではないため、各更新は、これまで見てきたすべてのデータのトレーニング信号を運ぶ小さなサンプルセットで実行する必要がある。 最強の電流法はこのセットを勾配マッチングによって構築し、トレーニング勾配が全データの値と一致する例を合成する。 しかし、それらは地味なラベルを必要とし、成長するストリームではなく、固定スナップショットで一度実行し、大きなデータでは遅い。 これらの制限を解除する \textbf{OLGA} を導入します。 モデル自身の次のトーケン予測から、勾配マッチングターゲットを描画することで、ラベルのないデータを蒸留する。 phi-1.5による5つのテキスト分類ベンチマークで、最強の選択基準よりも精度を10パーセント向上する。 OLGAはまた、合成サンプルの実行中のリハーサルメモリを保持することで、オンラインデータストリームを蒸留する。 オンライン環境では、最強のセレクションベースの連続ベースラインを6.6ストリームAUCのパーセンテージポイントで上回っている。 最後に, ハイブリッドパイプラインにおける蒸留と選択を組み合わせて大規模データにスケールし, 圧縮・蒸留の軽度な段階を極端に扱えるようにした。 同様の精度で蒸留と比較して30\%減らし、最高選択のみのパイプラインを最大12.6ポイント減らした。

関連論文リスト

• Dataset Distillation by Influence Matching [42.09931906541133]
  Inf-Matchは、収束したパラメータに影響を及ぼすコンパクトな合成集合を学習する。 標準分類ベンチマークで最高の精度を提供する。 Inf-MatchはFlickr30Kの視覚言語蒸留にスケールし、強力なプロセスマッチングベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-07-18T15:47:03Z)
• Learnability-Guided Diffusion for Dataset Distillation [51.56484100374058]
  本稿では, 連続的な段階を通して段階的に合成データセットを構成する学習可能性駆動型データセット蒸留法を提案する。 本稿では,学習可能性誘導拡散(LGD)について紹介する。これは,現在のモデルのトレーニングユーティリティと基準モデルの下での妥当性のバランスをとり,カリキュラムに整合したサンプルを生成する。 提案手法は,トレーニング段階間の専門化を促進し,ImageNet-1K (60.1%), ImageNette (87.2%), ImageWoof (72.9%) の最先端結果を実現する。
  論文  参考訳（メタデータ） (2026-04-01T06:04:59Z)
• DIET: Learning to Distill Dataset Continually for Recommender Systems [69.68271683922536]
  ディープラーニングモデルは、大規模で継続的な成長するストリーミング行動ログに依存する、継続的な学習パラダイムの下でトレーニングされる。 大規模なプラットフォームでは、アーキテクチャ比較やイテレーションのために、完全な履歴データ上でモデルを再トレーニングするのは、極めて高価であり、モデル開発を著しく遅くする。 我々は,この問題を,レコメンデータシステムのためのEmphstreaming dataset distillationとして定式化し,トレーニングクリティカルな信号を保持しながら,ストリーミングデータとともに進化するコンパクトな蒸留データセットを維持する統一フレームワークである textbfDIET を提案する。
  論文  参考訳（メタデータ） (2026-03-26T02:50:13Z)
• Language Models Improve When Pretraining Data Matches Target Tasks [8.935657480912282]
  BETRは、ベンチマークトレーニングの例と類似性に基づいて、事前学習した文書を選択する方法である。 データ選択の方法は1019ドルから1022ドルのFLOPにまたがる500以上のモデルをトレーニングし、それらをスケーリング法則に適合させることで比較する。 BETRはDCLM-Baseline上で2.1倍の計算乗算を実現し,全スケールで10タスク中9タスクの性能向上を実現している。
  論文  参考訳（メタデータ） (2025-07-16T17:59:45Z)
• Filter Like You Test: Data-Driven Data Filtering for CLIP Pretraining [17.402771370806384]
  Filter Like You Test (FLYT)は、事前トレーニングの例として、各データポイントの有用性を学ぶデータセットをキュレートするアルゴリズムである。 FLYTは、ダウンストリームタスクトレーニングセットからの勾配信号を使用して、各サンプルの機能を測ることを学ぶスコアモデルをトレーニングする。 M-FLYT(Mixing-FLYT)を実装し、異なるスコア法によって生成されるサンプル毎のスコアを特徴として扱い、それらを単一のスコアに統一することを学ぶ。
  論文  参考訳（メタデータ） (2025-03-11T18:34:12Z)
• Embarassingly Simple Dataset Distillation [0.0]
  本研究は, 2段階最適化問題として直接扱うことにより, その中核におけるデータセットの蒸留に取り組む。 蒸留されたデータの性質を深く掘り下げると、相互相関が明らかになる。 異なるデータ予算にまたがって、ほぼ最適性能のサブセットを含む蒸留データセットを生成するブーピング機構を考案する。
  論文  参考訳（メタデータ） (2023-11-13T02:14:54Z)
• Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
  雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。 Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。 さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
  論文  参考訳（メタデータ） (2023-01-02T07:13:28Z)
• Condensing Graphs via One-Step Gradient Matching [50.07587238142548]
  ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。 我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。 特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
  論文  参考訳（メタデータ） (2022-06-15T18:20:01Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。