論文の概要: Measuring Sample Importance in Data Pruning for Language Models based on Information Entropy

• arxiv url: http://arxiv.org/abs/2406.14124v3
• Date: Thu, 12 Dec 2024 00:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:29:48.993785
• Title: Measuring Sample Importance in Data Pruning for Language Models based on Information Entropy
• Title（参考訳）: 情報エントロピーに基づく言語モデルにおけるデータプルーニングにおけるサンプル重要度の測定
• Authors: Minsang Kim, Seungjun Baek,
• Abstract要約: 本稿では,情報エントロピーに基づくデータプルーニング手法を提案する。 トレーニングコーパスのサンプルを,その情報性の観点からランク付けすることを提案する。 実験の結果,提案した情報に基づくプルーニングは,様々な言語モデリングや下流タスクを改善することができることがわかった。
• 参考スコア（独自算出の注目度）: 4.079147243688765
• License:
• Abstract: Compute-efficient training of language models has become an important issue. We consider data pruning for data-efficient training of LLMs. In this work, we consider a data pruning method based on information entropy. We propose that the samples in the training corpus be ranked in terms of their informativeness which we estimate through entropy functions. The key idea is that, less informative samples are likely to contain redundant information, and thus should be pruned first. We use the entropy functions based on the negative log-likelihood and the average inverse word frequency of a sample as a surrogate to measure its informativeness. Experiments reveal that the proposed information-based pruning can improve upon various language modeling and downstream tasks, and enhance the generalization capability of language models.
• Abstract（参考訳）: 言語モデルの計算効率向上は重要な問題となっている。 LLMのデータ効率向上のためのデータプルーニングについて検討する。 本研究では,情報エントロピーに基づくデータプルーニング手法を提案する。 本稿では, トレーニングコーパスのサンプルを, エントロピー関数を用いて推定した情報量でランク付けすることを提案する。 鍵となるアイデアは、情報の少ないサンプルは冗長な情報を含んでいる可能性が高いため、最初に刈り取るべきである、ということだ。 サンプルの負の対数類似度と平均逆語頻度に基づくエントロピー関数を代理語として用いて,その情報量を測定する。 実験により,提案した情報ベースプルーニングは,様々な言語モデルや下流タスクを改善し,言語モデルの一般化能力を高めることができることがわかった。

関連論文リスト

• TinyHelen's First Curriculum: Training and Evaluating Tiny Language Models in a Simpler Language Environment [30.93798042712827]
  トレーニング言語モデル(LM)とそのアプリケーションエージェントは、大規模なデータセットとモデルのために、ますますコストがかかる。 ノイズを排除し、語彙を最小化し、ジャンル固有のパターンを維持することで、テキストデータを洗練するためのパイプラインを提案する。 実験により,ランダー事前学習がLM学習効率を向上させることが示された。
  論文  参考訳（メタデータ） (2024-12-31T16:08:15Z)
• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Critical Data Size of Language Models from a Grokking Perspective [35.029074833552656]
  我々は、グラッキング構成下での位相遷移をデータ効率仮説に定式化する。 一般化は言語モデルが臨界サイズに達する場合にのみ起こることを示す。 その結果,言語モデルの学習メカニズムにおけるデータの役割について,新たな視点を提供するとともに,言語モデル学習の理解を深めることができた。
  論文  参考訳（メタデータ） (2024-01-19T03:24:36Z)
• Influence Scores at Scale for Efficient Language Data Sampling [3.072340427031969]
  影響スコア」は、データの重要なサブセットを特定するために使われる。 本稿では,言語分類タスクにおける影響スコアの適用性について検討する。
  論文  参考訳（メタデータ） (2023-11-27T20:19:22Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• Eeny, meeny, miny, moe. How to choose data for morphological inflection [8.914777617216862]
  本稿では,トランスフォーマーモデルを用いた形態的インフレクション作業のための4つのサンプリング戦略について検討する。 そこで本研究では,30言語にまたがる戦略の頑健さについて検討する。 この結果から,モデル信頼度とエントロピーに基づくデータ選択のメリットが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-26T04:33:18Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。