論文の概要: CuraWeb: Joint Optimization of Quality, Redundancy, and Diversity for Web-Scale Pretraining Data
- arxiv url: http://arxiv.org/abs/2607.22662v1
- Date: Mon, 29 Jun 2026 03:25:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.013532
- Title: CuraWeb: Joint Optimization of Quality, Redundancy, and Diversity for Web-Scale Pretraining Data
- Title（参考訳）: CuraWeb: Webスケール事前学習データの品質、冗長性、多様性の最適化
- Abstract要約: 本稿では,線形刈り込みから品質,冗長性,多様性の協調最適化へ移行する新たなキュレーションパラダイムを提案する。
CuraWebは、多様性の向上と冗長性の最小化により、より包括的なデータ分散を回復することによって、データキュレーションの産業レベルの標準を確立している。
- 参考スコア（独自算出の注目度）: 34.22154170650246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open-web corpora curated via highly selective filters, such as FineWeb-Edu and DCLM, constitute the core of LLM pretraining data and have significantly advanced LLM performance. However, these pipelines typically rely on singular optimization objectives, which inevitably narrows distributional diversity and marginalizes long-tail knowledge, thereby restricting data coverage and underutilizing the vast potential of the open web. To address this limitation, we propose a novel curation paradigm that shifts from linear pruning to the joint optimization of quality, redundancy, and diversity. This framework synergizes dual-track cleaning (rule-based and model-driven) with hybrid deduplication (n-gram and semantic), while employing a multi-objective sampler to balance informational quality with distributional breadth. Applying this framework to Common Crawl, we construct CuraWeb, a 2T-token English corpus. Unlike existing resources, CuraWeb establishes an industrial-grade standard for data curation by recovering a more holistic data distribution with enhanced diversity and minimal redundancy, achieving broader coverage of long-tail knowledge across diverse domains. Experimental evaluations at the 3B scale demonstrate that CuraWeb significantly outperforms state-of-the-art baselines, yielding an average performance gain of 1.8\% across a wide range of benchmarks, particularly in knowledge-intensive and reasoning tasks.
- Abstract（参考訳）: FineWeb-Edu や DCLM のような高度に選択性の高いフィルタによってキュレートされたオープンウェブコーパスは、LLM事前学習データのコアであり、LLMの性能は著しく向上している。
しかし、これらのパイプラインは、必然的に分布の多様性を狭め、ロングテールの知識を疎外し、データカバレッジを制限し、オープンウェブの膨大なポテンシャルを未利用にする、特異な最適化の目的に依存している。
この制限に対処するため,線形刈り込みから品質,冗長性,多様性の協調最適化へ移行する新たなキュレーションパラダイムを提案する。
このフレームワークは、情報品質と分布幅のバランスをとるために多目的サンプリング器を使用しながら、二重トラッククリーニング(ルールベースおよびモデル駆動)とハイブリッドデ重複(n-gramとセマンティック)を相乗化する。
このフレームワークをCommon Crawlに適用し、2T対応の英語コーパスであるCuraWebを構築した。
既存のリソースとは異なり、CuraWebは、多様性と冗長性の最小化により、より包括的なデータ分散を回復し、さまざまなドメインにわたる長期的知識を広範囲にカバーすることで、データキュレーションの業界レベルの標準を確立している。
3Bスケールでの実験的評価は、CuraWebが最先端のベースラインを大幅に上回っており、特に知識集約および推論タスクにおいて、幅広いベンチマークで平均1.8\%のパフォーマンス向上を実現していることを示している。
関連論文リスト
- DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes [10.902458329410562]
我々は、データ構築を系統的な混合最適化問題として定式化する。
クラス間アロケーションには、品質と難易度を評価する多次元のデータセットレベルアセスメントを適用する。
クラス内構成には、品質と難易度を評価する多次元のデータセットレベル評価を適用する。
論文 参考訳（メタデータ） (2026-07-27T14:55:04Z) - Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning [15.445619998280243]
Federated Continual Multimodal Learning (FedCMM)は、フェデレート最適化ループに継続的学習セーフガードを組み込むフレームワークである。
FedCMMは、精度と後方転送の最近のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-07-13T19:40:30Z) - Agentic Adversarial QA for Improving Domain-Specific LLMs [53.00642389531106]
大規模言語モデル(LLM)は、しばしば専門分野に効果的に対応するのに苦労する。
本稿では,意味論的課題の集合をコンパクトに生成する逆問題生成フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-20T10:53:09Z) - Concept-Aware Batch Sampling Improves Language-Image Pretraining [78.53540190580189]
Concept-Aware Batch Smpling (CABS)は、バッチをオンザフライで柔軟に構築する、シンプルで効果的なバッチサンプリングフレームワークである。
CABSはCLIP/SigLIPモデルクラスに有益であり,高性能なモデルが得られることを示す。
全体として、CABSはプロプライエタリなオンラインデータキュレーションアルゴリズムに代わる強力なオープンソースである。
論文 参考訳（メタデータ） (2025-11-25T18:58:07Z) - Bridging VLMs and Embodied Intelligence with Deliberate Practice Policy Optimization [72.20212909644017]
Deliberate Practice Policy Optimization (DPPO) はメタ認知型メタループのトレーニングフレームワークである。
DPPOは教師付き微調整(能力拡張)と強化学習(技能向上)の交互に行う
実証的には、DPPO(Pelican-VL 1.0)で視覚言語を具現化したモデルをトレーニングすると、ベースモデルよりも20.3%パフォーマンスが向上する。
私たちはモデルとコードをオープンソースにして、データとリソースのボトルネックを軽減する最初の体系的なフレームワークを提供しています。
論文 参考訳（メタデータ） (2025-11-20T17:58:04Z) - Evontree: Ontology Rule-Guided Self-Evolution of Large Language Models [12.36467850170776]
Evontreeは、大規模言語モデル(LLM)内のドメイン知識を抽出、検証、拡張するために、少数の高品質なルールを利用する新しいフレームワークである。
Llama3-8B-InstructとMed42-v2による医学QAベンチマークの実験は、修正されていないモデルと教師付きベースラインの両方に対して一貫した性能を示した。
論文 参考訳（メタデータ） (2025-10-30T16:53:45Z) - MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。
我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。
数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
論文 参考訳（メタデータ） (2025-09-25T14:58:29Z) - Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。
本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文 参考訳（メタデータ） (2025-01-08T11:37:06Z) - Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift [2.298932494750101]
クライアント側トレーニング分布の不整合がフェデレート学習モデルの性能を著しく低下させることを示す。
本稿では,ニューラルネットワークの疎結合性,冗長性,堅牢性を改善するために,フラニングとクライアントトレーニングの正規化を組み合わせた新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-19T16:22:37Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。