論文の概要: Approximating Language Model Training Data from Weights

• arxiv url: http://arxiv.org/abs/2506.15553v1
• Date: Wed, 18 Jun 2025 15:26:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.715334
• Title: Approximating Language Model Training Data from Weights
• Title（参考訳）: 重みからの言語モデル学習データの近似
• Authors: John X. Morris, Junjie Oscar Yin, Woojeong Kim, Vitaly Shmatikov, Alexander M. Rush,
• Abstract要約: モデル重みからデータ近似の問題を定式化し、いくつかのベースラインとメトリクスを提案する。 そこで我々は,大規模公開テキストコーパスから最高のマッチングデータを選択する勾配に基づく手法を開発した。 真のトレーニングデータがない場合でも、我々の方法では、公開Webドキュメントの小さなサブセットを見つけることができる。
• 参考スコア（独自算出の注目度）: 70.08614275061689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models often have open weights but closed training data. We formalize the problem of data approximation from model weights and propose several baselines and metrics. We develop a gradient-based approach that selects the highest-matching data from a large public text corpus and show its effectiveness at recovering useful data given only weights of the original and finetuned models. Even when none of the true training data is known, our method is able to locate a small subset of public Web documents can be used to train a model to close to the original model performance given models trained for both classification and supervised-finetuning. On the AG News classification task, our method improves performance from 65% (using randomly selected data) to 80%, approaching the expert benchmark of 88%. When applied to a model trained with SFT on MSMARCO web documents, our method reduces perplexity from 3.3 to 2.3, compared to an expert LLAMA model's perplexity of 2.0.
• Abstract（参考訳）: 現代の言語モデルは、しばしばオープンウェイトを持つが、訓練データはクローズドである。 モデル重みからデータ近似の問題を定式化し、いくつかのベースラインとメトリクスを提案する。 そこで我々は,大規模公開テキストコーパスから最高のマッチングデータを選択する勾配に基づく手法を開発し,元のモデルと微調整モデルの重みのみを考慮に入れた有用データを復元する手法の有効性を示す。 真のトレーニングデータがない場合でも、我々の手法は、分類と教師ありファインタニングの両方のために訓練されたモデルから、モデルに近いオリジナルのモデルの性能をトレーニングするために、公開Webドキュメントの小さなサブセットを見つけることができる。 AG News分類タスクでは,提案手法が65%(ランダムに選択したデータを用いて)から80%に向上し,専門家ベンチマークの88%に近づいた。 MSMARCOのWebドキュメント上でSFTで訓練されたモデルに適用すると、専門家のLAMAモデルによる2.0のパープレキシティと比較して、この手法はパープレキシティを3.3から2.3に低減する。

関連論文リスト

• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。