論文の概要: Measuring Sample Importance in Data Pruning for Training LLMs from a Data Compression Perspective

• arxiv url: http://arxiv.org/abs/2406.14124v2
• Date: Fri, 21 Jun 2024 02:30:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 12:14:34.648812
• Title: Measuring Sample Importance in Data Pruning for Training LLMs from a Data Compression Perspective
• Title（参考訳）: データ圧縮の視点からのLLM訓練におけるデータプルーニングにおけるサンプル重要度の測定
• Authors: Minsang Kim, Seungjun Baek,
• Abstract要約: 我々は,大規模言語モデルのデータ効率訓練手法としてデータプルーニングを考える。 トレーニングされたモデルのログ類似度関数を代理として利用し,サンプルの情報量を測定する。
• 参考スコア（独自算出の注目度）: 4.079147243688765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compute-efficient training of large language models (LLMs) has become an important research problem. In this work, we consider data pruning as a method of data-efficient training of LLMs, where we take a data compression view on data pruning. We argue that the amount of information of a sample, or the achievable compression on its description length, represents its sample importance. The key idea is that, less informative samples are likely to contain redundant information, and thus should be pruned first. We leverage log-likelihood function of trained models as a surrogate to measure information content of samples. Experiments reveal a surprising insight that information-based pruning can enhance the generalization capability of the model, improves upon language modeling and downstream tasks as compared to the model trained on the entire dataset.
• Abstract（参考訳）: 大規模言語モデル(LLM)の計算効率訓練は重要な研究課題となっている。 本研究では,データプルーニングを,データプルーニングに関するデータ圧縮ビューを用いて,LLMのデータ効率のトレーニング手法として検討する。 我々は、サンプルの情報量、あるいはその記述長の達成可能な圧縮が、サンプルの重要性を表していると主張している。 鍵となるアイデアは、情報の少ないサンプルは冗長な情報を含んでいる可能性が高いため、最初に刈り取るべきである、ということだ。 トレーニングされたモデルのログ類似度関数を代理として利用し,サンプルの情報量を測定する。 実験では、情報ベースのプルーニングがモデルの一般化能力を高め、言語モデリングや下流タスクを改善するという驚くべき洞察を、データセット全体でトレーニングされたモデルと比較して示している。

関連論文リスト

• Scaling Retrieval-Based Language Models with a Trillion-Token Datastore [85.4310806466002]
  検索ベースLMが使用するデータストアのサイズを増大させることで,言語モデリングや下流タスクを一元的に改善できることがわかった。 データストア、モデル、事前学習データサイズで計算最適スケーリング曲線をプロットすることにより、より大きなデータストアを使用することで、同じトレーニング計算予算のモデル性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-07-09T08:27:27Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Retrieval-Augmented Data Augmentation for Low-Resource Domain Tasks [66.87070857705994]
  低リソース環境では、データ拡張に使用するシードデータサンプルの量は極めて少ない。 本稿では、他のデータセットから豊富なサンプルを組み込むことで、トレーニングデータを増強する新しい手法を提案する。 このアプローチは、生成されたデータが関連性だけでなく、限られたシードデータだけで達成できるものよりも多様であることを保証する。
  論文  参考訳（メタデータ） (2024-02-21T02:45:46Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Exploring Learning Complexity for Downstream Data Pruning [9.526877053855998]
  本稿では,学習複雑性(LC)を分類・回帰タスクのスコアリング機能として扱うことを提案する。 大規模言語モデルの微調整を行うため,本手法は安定収束による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-08T02:29:33Z)
• Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
  視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。 具体的には、Webで収集したCoyo-700Mデータセットを利用する。 我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
  論文  参考訳（メタデータ） (2023-05-24T15:33:46Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• Data Impressions: Mining Deep Models to Extract Samples for Data-free Applications [26.48630545028405]
  データインプレッションはトレーニングデータのプロキシとして機能し、さまざまなタスクを実現するために使用することができる。 いくつかのコンピュータビジョンタスクにおけるデータインプレッションの適用性を示す。
  論文  参考訳（メタデータ） (2021-01-15T11:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。