論文の概要: Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models

• arxiv url: http://arxiv.org/abs/2610.02593v1
• Date: Thu, 01 Oct 2026 23:44:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.125426
• Title: Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models
• Title（参考訳）: 大規模言語モデルの連続事前学習のための釣りガイド付きサブモジュールデータ選択
• Abstract要約: 損失に基づく選択は、事前訓練されたモデルが行ったハイフィッシャー座標を正確に下向きにドリフトさせることを示す。 本稿では、各候補の勾配をアンカー成分に分解し、コミットパラメータ方向に沿って測定するフィッシャー対応セレクタと、更新能力を測定するフロンティア成分を提案する。
• 参考スコア（独自算出の注目度）: 25.197251742833227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data selection is already a central bottleneck in large-language-model training, where web-scale corpora are noisy and token budgets are finite. In continual pre-training (CPT), it becomes a forgetting-control problem: a poorly chosen target-domain corpus can overwrite capabilities encoded in the pretrained checkpoint. Existing CPT practice either scores candidates with parameter-agnostic scalars such as perplexity, or mitigates forgetting by spending many extra general-domain replay tokens. Neither strategy directly asks how training on a candidate will move the model parameters. We show that loss-based selection causes the post-CPT Fisher diagonal to drift downward on exactly the high-Fisher coordinates the pretrained model had committed to, while leaving low-Fisher coordinates largely untouched. This asymmetry exposes a parameter-space mechanism for catastrophic forgetting. Motivated by this observation, we propose a Fisher-aware CPT selector that decomposes each candidate's gradient into an anchor component, which measures perturbation along committed parameter directions, and a frontier component, which measures update capacity in unconstrained low-Fisher subspaces. We aggregate these signals with a log-determinant submodular objective and optimize it in a single pass using a scalable streaming data selection pipeline. On TinyLlama-1.1B and Llama-3.1-8B CPT over medical data, our selector improves target-domain quality while bounding forgetting on held-out pretraining benchmarks. Most importantly, it is substantially more token-efficient than forgetting-aware replay. 1B selected tokens already outperform the replay strategy trained with 10B tokens on both adaptation and forgetting, giving a 10x token-efficiency advantage.
• Abstract（参考訳）: データ選択は、Webスケールコーパスがノイズが多く、トークン予算が有限である大規模言語モデルのトレーニングにおいて、すでに中心的なボトルネックとなっている。 CPT(Continuous pre-training)では、未選択のターゲットドメインコーパスが事前訓練されたチェックポイントにエンコードされた機能を上書きできるという、忘れられる制御問題となる。 既存のCPTプラクティスは、パープレキシティのようなパラメータ非依存のスカラーを持つ候補をスコアするか、余分な汎用ドメインのリプレイトークンを使い忘れを省くかのどちらかである。 どちらの戦略も、候補に対するトレーニングがモデルパラメータをどのように移動させるかを直接問うものではない。 損失に基づく選択は,CPT後のフィッシャー対角線が,事前訓練したモデルが行ったハイフィッシャー座標を正確に下向きにドリフトさせ,低フィッシャー座標をほとんど触れないままにすることを示す。 この非対称性は、破滅的な忘れ物のためのパラメータ空間機構を公開する。 この観測により,各候補の勾配をアンカー成分に分解し,コミットパラメータ方向に沿って摂動を測定するFisher-Aware CPTセレクタと,制約のない低フィッシャー部分空間における更新容量を測定するフロンティア成分を提案する。 我々はこれらの信号を対数決定サブモジュールの目的で集約し、スケーラブルなストリーミングデータ選択パイプラインを使用して単一パスで最適化する。 医療データ上のTinyLlama-1.1BとLlama-3.1-8BのCPTでは、設定済みの事前学習ベンチマークを忘れることなく、セレクタがターゲットドメインの品質を向上させる。 最も重要なことは、リプレイを忘れることよりもトークン効率が高いことです。 1B選択されたトークンは、適応と忘れの両方で10Bトークンでトレーニングされたリプレイ戦略をすでに上回り、トークン効率が10倍になった。

関連論文リスト

• PathSelect: Sequential Token Selection for Whole Slide Pathology [0.6362628914555645]
  WSI(Whole-Slide Images)は、視覚言語モデル(VLM)の基本的計算ボトルネックを示す。 我々は、WSIトークンプルーニングを逐次選択プロセスとして再構成し、モデルが最適なルーティング戦略を自律的に学習できるようにする。
  論文  参考訳（メタデータ） (2026-07-26T12:36:16Z)
• Point-Selection Fine-Tuning Framework for Robust Point Cloud Classification [13.13510696965873]
  PSFTは、パラメータ効率を保ちながら堅牢性を向上する点選択微調整フレームワークである。 また,PSFTは,テスト済みの3Dバックボーン全体にわたって,Model-CとModelNet40-Cの劣化誤差を一貫して低減することを示した。
  論文  参考訳（メタデータ） (2026-07-22T03:27:18Z)
• Fisher-Guided Progressive Parameter Selection for Adaptive Fine-Tuning [5.8006596438443125]
  TextbfFisherAdapTuneはFisherジオメトリの時間的ドリフトを追跡することでパラメータ群を選択するFisher-Guided Adaptive Fine-Tuningフレームワークである。 我々は,下流セグメンテーションタスクに対するアプローチを評価し,FisherAdapTuneが複数設定で分散性能とゼロショット転送を改善したことを示す。
  論文  参考訳（メタデータ） (2026-06-08T21:35:11Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Shallow Preference Signals: Large Language Model Aligns Even Better with Truncated Data? [34.18909976476456]
  優先応答で得られる識別信号が初期トークンに集中していることが示される。 意外なことに、切り捨てられたデータセットでトレーニングされたモデルでは、トークンの前半または後半しか保持せず、完全なデータセットでトレーニングされたモデルと同等あるいはそれ以上のパフォーマンスを実現している。 そこで我々は,浅層優先信号を利用してアライメントと計算効率のトレードオフを最適化する,浅部報酬信号観測(Longth Control Decoding)とKL Threshold Control Decoding(KL Threshold Control Decoding)の2つの単純な復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-21T17:59:02Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Data Selection for Language Models via Importance Resampling [90.9263039747723]
  我々は、望まれるターゲット分布に合わせるために、大規模な未ラベルデータセットのサブセットを選択するという問題を形式化する。 我々は、LMデータ選択のために低次元で使用される古典的な重要度再サンプリング手法を拡張した。 DSIRフレームワークをhash n-gram機能でインスタンス化し、4.5時間で1億のドキュメントを選択できる。
  論文  参考訳（メタデータ） (2023-02-06T23:57:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。