論文の概要: Towards Scalable Data Diversification for Language Model Pretraining via Leverage Score Sampling

• arxiv url: http://arxiv.org/abs/2609.32484v1
• Date: Sat, 26 Sep 2026 11:26:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:43:25.290586
• Title: Towards Scalable Data Diversification for Language Model Pretraining via Leverage Score Sampling
• Title（参考訳）: レバレッジスコアサンプリングによる言語モデル事前学習のためのスケーラブルなデータ多様化に向けて
• Abstract要約: 組込みデータの最大体積をレバレッジスコアで決定的に拡大するサンプルを反復的に選択するtextbfLeverage Score Smpling (Lev) を導入する。 Levは、最大72タイムのスピードアップを提供し、Vendiスコアによって測定されたデータセットの多様性を改善し、強力な多様化ベースラインであるtextbfDiSFに対して9.2%の価格で提供する。
• 参考スコア（独自算出の注目度）: 19.029784665909062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data selection for language model pretraining faces a fundamental tension between quality and diversity. While quality filtering is empirically effective, it often induces diversity collapse: by favoring texts similar to high-quality reference corpora (e.g., educational or QA-style data), it systematically excludes valuable data from underrepresented domains. In contrast, diversified selection preserves domain balance and encourages robust downstream performance, yet existing methods either focus on coverage-oriented objectives that indirectly enhance diversity, or directly optimize for diversity via costly covariance matrix recomputation that limits scalability. To address these issues, we introduce \textbf{Leverage Score Sampling (Lev)}, which iteratively selects samples that maximally expand the determinantal volume of the embedded data via leverage scores, a computationally efficient criterion that eliminates matrix recomputation and enables scalable selection. Empirically, Lev delivers up to $72\times$ speedup and improves dataset diversity, measured by the Vendi score, by $9.2\%$ over the strong diversification baseline \textbf{DiSF}. On CommonCrawl (CC) web data selection, Lev improves accuracy across seven downstream tasks by up to $1.31\%$ over existing baselines. For domains where robust quality criteria are inherently difficult to define (e.g., code), Lev serves as an effective unsupervised curation alternative: on StarCoderData, the selected subset reduces bits-per-byte by $3.08\%$ over DiSF. Notably, we uncover a cross-domain collapse of quality filtering: CC data filtered by DCLM-fastText fail to retain sufficient code-related content, yielding inferior code performance relative to Lev-selected data. These findings advocate for integrating diversity-aware practices into quality filtering for more effective data curation in language model pretraining.
• Abstract（参考訳）: 言語モデルの事前学習のためのデータ選択は、品質と多様性の根本的な緊張に直面します。 品質フィルタリングは経験的に有効であるが、しばしば多様性の崩壊を引き起こす: 高品質な参照コーパス(例えば、教育やQAスタイルのデータ)に似たテキストを好むことにより、重要でないドメインから価値あるデータを体系的に排除する。 対照的に、多様化された選択はドメインのバランスを保ち、堅牢な下流のパフォーマンスを促進するが、既存の方法は、間接的に多様性を向上するカバレッジ指向の目的に焦点を当てるか、スケーラビリティを制限するコストのかかる共分散行列再計算を通じて、ダイバーシティを直接最適化する。 これらの問題に対処するために,組込みデータの行列体積を最大に拡張するサンプルを反復的に選択する‘textbf{Leverage Score Sampling (Lev)} を導入する。 実証的に、Leeは最大72\times$のスピードアップを提供し、Vendiスコアによって測定されたデータセットの多様性を改善し、強力な多様化ベースラインであるtextbf{DiSF}に対して9.2\%の価格で提供する。 CommonCrawl(CC)のWebデータ選択では、7つのダウンストリームタスクの精度を、既存のベースラインよりも最大1.31\%向上する。 堅牢な品質基準を定義するのが本質的に困難であるドメイン(例えば、コード)では、Leeは効果的な教師なしキュレーションの代替として機能する: StarCoderDataでは、選択されたサブセットは、DiSFよりも3.08\%のビットを削減できる。 DLM-fastTextでフィルタリングされたCCデータは十分なコード関連コンテンツを保持できず、Lev-selectedデータと比較してコード性能が劣る。 これらの知見は、言語モデルの事前学習において、より効果的なデータキュレーションのための品質フィルタリングに多様性を意識したプラクティスを統合することを提唱している。

関連論文リスト

• Hierarchical Data Selection via Manifold Coverage and Sparse Feature Coverage in LLM Post-training [36.73565681027731]
  MASSは粗いセマンティックグルーピングのための高密度オートエンコーダを用いて低次元主多様体座標を学習する。 Vision FlanとLLaVA-CoTの実験によると、MASSは複数の予算で強いデータ選択ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-08-05T04:40:26Z)
• Learning from the Best, Differently: A Diversity-Driven Rethinking on Data Selection [45.327105807111934]
  既存のアプローチは通常、1次元または複数次元のスコアベースの選択に依存する。 本稿では,データ選択時の品質と多様性を両立するOrthogonal Diversity-Aware Selection (ODiS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-21T03:37:31Z)
• Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning [49.04912820721943]
  Supervised Fine-tuning (SFT) は計算コストが高く、時にはオーバーフィットやバイアス増幅に悩まされる。 本研究は、トレーニングプロセス中にサンプルを動的にスコア付け、フィルタリングするオンラインバッチ選択ファミリについて研究する。 SFTにおける効率的なオンラインバッチ選択のためのフレームワークである textbfUDS (Utility-Diversity Sampling) を開発した。
  論文  参考訳（メタデータ） (2025-10-19T15:32:01Z)
• Combatting Dimensional Collapse in LLM Pre-Training Data via Diversified File Selection [65.96556073745197]
  DiverSified File selection algorithm (DiSF) は特徴空間における最も非相関なテキストファイルを選択するために提案される。 DiSFは590万のトレーニングファイルの98.5%をSlimPajamaに保存し、50Bのトレーニング予算内でのデータ事前トレーニングを上回っている。
  論文  参考訳（メタデータ） (2025-04-29T11:13:18Z)
• Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [50.492124556982674]
  本稿では,新しい選択型サンプル選択フレームワークを提案する。 個々のサンプル品質の評価から、異なるサンプルのコントリビューション値の比較へと焦点をシフトする。 われわれのアプローチをより大きな医療データセットで検証し、現実の応用における実用性を強調した。
  論文  参考訳（メタデータ） (2025-03-04T07:32:41Z)
• Diversity-oriented Data Augmentation with Large Language Models [9.548912625579947]
  我々はtextbfunderline Di-textbfunderline 指向データ textbfunderlineAugmentation framework (textbfDoAug) を提案する。 具体的には、多様性指向の微調整手法を用いて、多彩なパラフレーズを生成することでテキストデータセットを増強できる多彩なパラフレーズとしてLLMを訓練する。 その結果, ラベルの整合性を維持しつつ, 微調整LDMオーグメンタにより多様性が向上し, 下流タスクの堅牢性と性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-02-17T11:00:40Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• ScalingFilter: Assessing Data Quality through Inverse Utilization of Scaling Laws [67.59263833387536]
  ScalingFilterは、同じデータでトレーニングされた2つの言語モデル間の複雑さの違いに基づいて、テキスト品質を評価する新しいアプローチである。 品質フィルタリングによってもたらされるバイアスを評価するために,意味表現にテキスト埋め込みモデルを利用する指標である意味多様性を導入する。
  論文  参考訳（メタデータ） (2024-08-15T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。