論文の概要: MATES: Model-Aware Data Selection for Efficient Pretraining with Data Influence Models

• arxiv url: http://arxiv.org/abs/2406.06046v1
• Date: Mon, 10 Jun 2024 06:27:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 14:46:46.969797
• Title: MATES: Model-Aware Data Selection for Efficient Pretraining with Data Influence Models
• Title（参考訳）: MATES:データ影響モデルによる効率的な事前学習のためのモデル認識データ選択
• Authors: Zichun Yu, Spandan Das, Chenyan Xiong,
• Abstract要約: データ影響モデル(MATES)を用いたモデル認識データ選択について紹介する。 事前学習モデルを局所的に探索することにより収集したオラクルデータ嗜好信号を近似するために、小さなデータの影響モデルを微調整する。 PythiaとC4データセットの実験では、MATESが広範囲な下流タスクでランダムなデータ選択を著しく上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 16.654859430784825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining data selection has the potential to improve language model pretraining efficiency by utilizing higher-quality data from massive web data corpora. Current data selection methods, which rely on either hand-crafted rules or larger reference models, are conducted statically and do not capture the evolving data preferences during pretraining. In this paper, we introduce model-aware data selection with data influence models (MATES), where a data influence model continuously adapts to the evolving data preferences of the pretraining model and then selects the data most effective for the current pretraining progress. Specifically, we fine-tune a small data influence model to approximate oracle data preference signals collected by locally probing the pretraining model and to select data accordingly for the next pretraining stage. Experiments on Pythia and the C4 dataset demonstrate that MATES significantly outperforms random data selection on extensive downstream tasks in both zero- and few-shot settings. It doubles the gains achieved by recent data selection approaches that leverage larger reference models and reduces the total FLOPs required to reach certain performances by half. Further analysis validates the ever-changing data preferences of pretraining models and the effectiveness of our data influence models to capture them. Our code is open-sourced at https://github.com/cxcscmu/MATES.
• Abstract（参考訳）: 事前学習データの選択は、大量のWebデータコーパスから高品質なデータを活用することにより、言語モデルの事前学習効率を向上させる可能性がある。 手作りのルールやより大きな参照モデルに依存する現在のデータ選択方法は、静的に行われ、事前訓練中に進化するデータ優先をキャプチャしない。 本稿では、データ影響モデル(MATES)を用いたモデル認識データ選択について紹介し、データ影響モデルが事前学習モデルの進化するデータ嗜好に継続的に適応し、次に、現在の事前学習の進行に最も有効なデータを選択する。 具体的には、局所的に事前学習モデルを探索して収集したオラクルデータ嗜好信号を近似するために、小さなデータの影響モデルを微調整し、次の事前学習段階に応じてデータを選択する。 PythiaとC4データセットの実験では、MATESは、ゼロショットと少数ショットの両方の設定で、広範囲な下流タスクにおけるランダムなデータ選択を著しく上回っている。 これは、より大規模な参照モデルを活用する最近のデータ選択アプローチによって達成された利益を2倍にし、特定のパフォーマンスに到達するのに必要な合計FLOPを半分に減らします。 さらなる分析により、事前学習モデルのデータ嗜好の変化と、それらをキャプチャするためのデータ影響モデルの有効性が検証される。 私たちのコードはhttps://github.com/cxcscmu/MATES.comでオープンソース化されています。

関連論文リスト

• Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
  本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。 収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
  論文  参考訳（メタデータ） (2024-10-22T00:11:41Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Optimizing V-information for Self-Supervised Pre-training Data-Effective Medical Foundation Models [15.413974936297082]
  大規模データセット上での自己教師付き事前トレーニング医療基盤モデルは、例外的なパフォーマンスを示す。 基礎モデル事前学習のための貴重なサンプルを選択するために、データ効率のよい学習手法が導入された。 実世界の医療領域におけるV情報の最適化のための最適なデータ効率学習手法を開発した。
  論文  参考訳（メタデータ） (2024-08-13T10:28:54Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Prompt Public Large Language Models to Synthesize Data for Private On-device Applications [5.713077600587505]
  本稿では,DP と FL でトレーニングしたデバイス上での言語モデルにおいて,公開データに基づいてトレーニングした大規模言語モデル (LLM) が事前学習データの質を向上する方法について検討する。 合成データセットに事前学習したモデルでは, 単語予測精度が19.0%, 22.8%向上した。 実験では, プライベートデータにアクセスしなくても, プライベートデータに近いデータを合成する上でのLCMの強みを実証した。
  論文  参考訳（メタデータ） (2024-04-05T19:14:14Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Efficient Online Data Mixing For Language Model Pre-Training [101.45242332613944]
  既存のデータ選択方法は、遅くて計算コストのかかるプロセスに悩まされる。 一方、データミキシングは、データポイントをまとめることで、データ選択の複雑さを低減する。 我々は,データ選択とデータ混合の両要素を組み合わせたオンラインデータ混合(ODM)の効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-05T00:42:35Z)
• Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
  大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
  論文  参考訳（メタデータ） (2022-07-28T17:36:24Z)
• Model-specific Data Subsampling with Influence Functions [37.64859614131316]
  トレーニングポイントが様々な影響を持つ場合、ランダムサンプリングよりも優れたモデル固有データサブサンプリング戦略を開発する。 具体的には、影響関数を活用して、選択戦略をガイドし、理論的に証明し、我々のアプローチが素早く高品質なモデルを選択することを実証する。
  論文  参考訳（メタデータ） (2020-10-20T12:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。