論文の概要: MixtureVitae: Open Web-Scale Pretraining Dataset With High Quality Instruction and Reasoning Data Built from Permissive-First Text Sources
- arxiv url: http://arxiv.org/abs/2509.25531v1
- Date: Mon, 29 Sep 2025 21:40:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-01 17:09:04.336551
- Title: MixtureVitae: Open Web-Scale Pretraining Dataset With High Quality Instruction and Reasoning Data Built from Permissive-First Text Sources
- Title（参考訳）: MixtureVitae: 許容第一級テキストソースから構築された高品質なインストラクションと推論データを備えたオープンなWebスケール事前学習データセット
- Authors: Huu Nguyen, Victor May, Harsh Raj, Marianna Nezhurina, Yishan Wang, Yanqi Luo, Minh Chien Vu, Taishi Nakamura, Ken Tsui, Van Khue Nguyen, David Salinas, Aleksandra Krasnodębska, Christoph Schuhmann, Mats Leon Richter, Xuan-Son, Vu, Jenia Jitsev,
- Abstract要約: MixtureVitaeは、強力なモデルパフォーマンスを提供しながら、法的リスクを最小限に抑えるために開発されたオープンアクセス事前トレーニングコーパスである。
ライセンス対応のフィルタリング、安全性と品質のスクリーニング、ドメイン対応のミキシングのための透過的で多段階のパイプラインについて詳述する。
- 参考スコア（独自算出の注目度）: 37.59909319886648
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present MixtureVitae, an open-access pretraining corpus built to minimize legal risk while providing strong model performance. MixtureVitae follows a risk-mitigated sourcing strategy that combines public-domain and permissively licensed text (e.g., CC-BY/Apache) with carefully justified low-risk additions (e.g., government works and EU TDM-eligible sources), alongside targeted instruction, reasoning and synthetic data with documented provenance. We detail a transparent, multi-stage pipeline for license-aware filtering, safety and quality screening, and domain-aware mixing, and we release the dataset and curation recipes to support reproducible research. In controlled experiments using the open-sci-ref training protocol (fixed architectures at 130M/400M/1.3B/1.7B parameters; training budgets of 50B and 300B tokens), models trained on MixtureVitae consistently outperform other permissive datasets across a suite of standard benchmarks, and at the 1.7B/300B setting they surpass FineWeb-Edu and approach DCLM in the later stages of training. Performance is particularly strong on math/code and competitive on QA tasks. These results demonstrate that permissive-first, risk-mitigated data provides a practical and legally mitigated foundation for training capable LLMs, reducing reliance on indiscriminate web scraping without sacrificing competitiveness. Code: https://github.com/ontocord/mixturevitae
- Abstract（参考訳）: 提案するMixtureVitaeは,法的なリスクを最小限に抑えつつ,強力なモデル性能を実現するために構築されたオープンアクセス事前学習コーパスである。
MixtureVitaeは、パブリックドメインとパーミッシブライセンスのテキスト(例えば、CC-BY/Apache)を慎重に正当化された低リスクの追加(例えば、政府作業やEU TDM対応ソース)と組み合わせた、リスク軽減型のソーシング戦略と、対象とする命令、推論、および文書化された前兆による合成データを組み合わせたものだ。
我々は、ライセンス対応のフィルタリング、安全性と品質のスクリーニング、ドメイン対応のミキシングのための透明で多段階のパイプラインを詳述し、再現可能な研究をサポートするためにデータセットとキュレーションのレシピをリリースする。
オープンSFトレーニングプロトコル(130M/400M/1.3B/1.7Bパラメータの固定されたアーキテクチャ、50Bおよび300Bトークンのトレーニング予算)を使用した制御実験では、MixtureVitaeでトレーニングされたモデルは標準ベンチマークスイートで他の許容データセットを一貫して上回り、1.7B/300BではFineWeb-Eduを上回り、DCLMに近づいた。
パフォーマンスは特に数学/コードに強く、QAタスクに競争力があります。
これらの結果は、許容第一のリスク軽減データにより、実用的で法的に緩和されたLLMのトレーニング基盤が得られ、競争力を犠牲にすることなく、差別化されていないWebスクレイピングへの依存を軽減できることを示した。
コード:https://github.com/ontocord/mixturevitae
関連論文リスト
- Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Aware Unlearning with Proxy Constraint [28.25159814956888]
大規模言語モデル(LLM)は、プライベートまたは著作権のあるコンテンツを含む可能性のある巨大なデータセットに基づいて訓練される。
プライバシとオーナシップの懸念が高まっているため、データ所有者は、トレーニングされたモデルからデータを削除することを要求できる。
既存のほとんどの方法には音を忘れる境界がないため、一部のサンプルは忘れられてしまう。
論文 参考訳（メタデータ） (2025-08-28T05:45:40Z) - Unlocking Post-hoc Dataset Inference with Synthetic Data [11.886166976507711]
トレーニングデータセットは、データ所有者の知的財産権を尊重することなく、しばしばインターネットから取り除かれる。
推論(DI)は、被疑者データセットがトレーニングに使用されたかどうかを特定することで潜在的な治療を提供する。
既存のDIメソッドでは、妥協したデータセットの分布と密接に一致するトレーニングを欠くために、プライベートな設定を必要とします。
本研究では,必要なホールドアウト集合を合成的に生成することで,この問題に対処する。
論文 参考訳（メタデータ） (2025-06-18T08:46:59Z) - Improving Pretraining Data Using Perplexity Correlations [56.41097718862742]
我々は,LLM学習を必要とせず,高品質な事前学習データを選択するフレームワークを提案する。
我々は,パープレキシティ-ベンチマーク相関の推定を中心に,データ選択のための新しい統計フレームワークを構築した。
提案手法は,DataComp-LMで見つかった最高のデータセレクタをマッチングしながら,各ベンチマークでDSIRより優れている。
論文 参考訳（メタデータ） (2024-09-09T17:23:29Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳（メタデータ） (2024-02-15T02:27:57Z) - SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。
クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。
本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
論文 参考訳（メタデータ） (2023-07-29T02:35:37Z) - FedDBL: Communication and Data Efficient Federated Deep-Broad Learning
for Histopathological Tissue Classification [65.7405397206767]
本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。
FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。
異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
論文 参考訳（メタデータ） (2023-02-24T14:27:41Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers [21.741026088202126]
そこで本研究では,いくつかのトレーニングサンプルを用いて,事前学習したモデルのロバスト性を証明する新しい手法を提案する。
提案手法は,各トレーニングサンプルに対応するクラス境界および補間標本を生成する。
複数のベンチマークデータセットのベースラインに対する大幅な改善と、課題のあるブラックボックス設定の下でも同様のパフォーマンスを報告しています。
論文 参考訳（メタデータ） (2022-10-17T10:41:18Z) - FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [52.85536740465277]
FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。
ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。
FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
論文 参考訳（メタデータ） (2022-09-28T19:49:39Z) - Scotch: An Efficient Secure Computation Framework for Secure Aggregation [0.0]
フェデレーション学習は、複数のデータ所有者がプライベートデータセットを公開せずに、機械学習モデルを共同でトレーニングすることを可能にする。
悪意のある集約サーバは、モデルパラメータを使用して、使用したトレーニングデータセットに関する機密情報を導き出すことができる。
フェデレーションアグリゲーションのための分散化テキストitm-partyセキュア計算フレームワークであるtextscScotch を提案する。
論文 参考訳（メタデータ） (2022-01-19T17:16:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。