論文の概要: DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data

• arxiv url: http://arxiv.org/abs/2607.24717v1
• Date: Mon, 27 Jul 2026 17:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.528093
• Title: DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data
• Title（参考訳）: DataOrchestra: 事前学習データのサンプル単位のキュレーションを学習する
• Abstract要約: 我々は、異なる処理操作を統一し、サンプル固有のパイプラインを編成するフレームワークであるDataOrchestraを提案する。 我々は、DataOrchestraが処理したWebデータに基づいて、0.5Bから7Bまでのモデルをスクラッチから事前トレーニングし、11のベンチマークで個々のデータ処理方法よりも安定した平均ゲインを観測する。
• 参考スコア（独自算出の注目度）: 27.78341478407496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining data processing is critical to the downstream performance of Large Language Models (LLMs). However, many existing approaches define a fixed processing strategy at the corpus or domain level and apply it uniformly to many examples, without adapting to the needs of each example. We propose DataOrchestra, a framework that unifies different processing operations and orchestrates an example-specific pipeline for each example. Given a chunk of pretraining data, an orchestrator decides whether to drop, untouch, or clean it. For a chunk to be cleaned, it selects one or more downstream operations, ranging from programmatic editing to different forms of LLM-based rewriting. For each rewriting step, it further generates a concrete instruction, which is executed by the corresponding downstream tool model. We pretrain models from 0.5B to 7B from scratch on web data processed by DataOrchestra and observe stable average gains over individual data-processing methods across 11 benchmarks. DataOrchestra is also effective for math continued pretraining and outperforms stronger processing baselines, while reducing processing compute by skipping unnecessary downstream operations.
• Abstract（参考訳）: データ処理の事前訓練は、Large Language Models (LLMs) の下流性能に不可欠である。 しかし、既存の多くのアプローチでは、コーパスやドメインレベルで一定の処理戦略を定義し、各例のニーズに適応することなく、多くの例に一様に適用している。 我々は、異なる処理操作を統一し、サンプル固有のパイプラインを編成するフレームワークであるDataOrchestraを提案する。 事前トレーニングデータの一部が与えられた場合、オーケストレータはドロップするか、アンタッチするか、あるいはクリーンするかを決定する。 チャンクをクリーニングするには、1つ以上の下流操作を選択する。 各書き換えステップでは、さらに具体的な命令を生成し、対応する下流ツールモデルによって実行される。 我々は、DataOrchestraが処理したWebデータに基づいて、0.5Bから7Bまでのモデルをスクラッチから事前トレーニングし、11のベンチマークで個々のデータ処理方法よりも安定した平均ゲインを観測する。 DataOrchestraは、不必要な下流操作をスキップすることで処理処理を削減しつつ、数学のトレーニングを継続し、より強力な処理ベースラインを上回っます。

関連論文リスト

• Training LLMs for Multi-Step Tool Orchestration with Constrained Data Synthesis and Graduated Rewards [76.49428173793386]
  LLMは、中間出力を伝搬しながら、正しい順序で複数の依存APIを呼び出す必要がある。 既存の環境は、シミュレーションデータを使った単純なターン毎の関数呼び出しとバイナリ報酬に重点を置いている。 まず、実APIレスポンスの大規模キャッシュを背景とした強化学習環境を構築し、有効なマルチステップオーケストレーショントレースをサンプリングするデータ合成パイプラインを実現する。 第二に、正当性を原子の妥当性とオーケストレーションに分解する、段階的な報酬設計を提案する。
  論文  参考訳（メタデータ） (2026-03-25T18:31:39Z)
• Mathematical Foundations of Modeling ETL Process Chains [10.03291311568095]
  抽出-変換-ロードプロセスは、現代のデータ処理基盤の中核的なコンポーネントである。 我々は時間集約スループットのレベルで正確であるプロセスチェーンの数学的モデルを開発する。 スレッド数、平均スループット、平均処理時間をリンクするフローバランスを仮定する。
  論文  参考訳（メタデータ） (2026-02-09T09:23:45Z)
• SynthCoder: A Synthetical Strategy to Tune LLMs for Code Completion [7.668823606571788]
  コード補完は、ソフトウェア工学における大規模言語モデル(LLM)の顕著な応用である。 本稿では,Fill-in-the-Middle(FIM)コード補完タスクにおける最先端技術を実現するために,業界をリードするプラクティスを統合するモデルであるSynthCoderを提案する。
  論文  参考訳（メタデータ） (2025-08-21T12:23:49Z)
• Language Models Improve When Pretraining Data Matches Target Tasks [8.935657480912282]
  BETRは、ベンチマークトレーニングの例と類似性に基づいて、事前学習した文書を選択する方法である。 データ選択の方法は1019ドルから1022ドルのFLOPにまたがる500以上のモデルをトレーニングし、それらをスケーリング法則に適合させることで比較する。 BETRはDCLM-Baseline上で2.1倍の計算乗算を実現し,全スケールで10タスク中9タスクの性能向上を実現している。
  論文  参考訳（メタデータ） (2025-07-16T17:59:45Z)
• Leveraging Machine Learning and Enhanced Parallelism Detection for BPMN Model Generation from Text [75.77648333476776]
  本稿では、テキストからBPMNモデルを抽出する自動パイプラインについて紹介する。 この研究の重要な貢献は、新たに注釈付けされたデータセットの導入である。 モデルトレーニング用の32のパラレルゲートウェイを含む15の注釈付き文書でデータセットを増強する。
  論文  参考訳（メタデータ） (2025-07-11T07:25:55Z)
• Training-Free Dataset Pruning for Instance Segmentation [35.124251909622025]
  インスタンスセグメンテーションには,ピクセルレベルのアノテーション,インスタンス領域のバリエーション,クラス不均衡という,3つの重要な課題がある。 本稿では,サンプルセグメンテーションのための新しいトレーニングフリーデータセット・プルーニング(TFDP)手法を提案する。 VOC 2012、Cityscapes、COCOデータセットで最先端の結果が得られ、CNNやTransformerアーキテクチャでうまく一般化されています。
  論文  参考訳（メタデータ） (2025-03-02T10:05:59Z)
• Improving Pretraining Data Using Perplexity Correlations [56.41097718862742]
  我々は,LLM学習を必要とせず,高品質な事前学習データを選択するフレームワークを提案する。 我々は,パープレキシティ-ベンチマーク相関の推定を中心に,データ選択のための新しい統計フレームワークを構築した。 提案手法は,DataComp-LMで見つかった最高のデータセレクタをマッチングしながら,各ベンチマークでDSIRより優れている。
  論文  参考訳（メタデータ） (2024-09-09T17:23:29Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• SOTASTREAM: A Streaming Approach to Machine Translation Training [13.39347756245191]
  多くの機械翻訳ツールキットは、生データをトレーナーが直接使用できるテンソル形式に変換するデータ準備ステップを利用する。 本稿では,そのデータ消費からデータ生成を分離する代替手法を提案する。 このアプローチでは、個別の事前処理ステップはなく、データ生成は生のトレーニングデータの置換の無限のストリームを生成する。
  論文  参考訳（メタデータ） (2023-08-14T22:47:19Z)
• Bellamy: Reusing Performance Models for Distributed Dataflow Jobs Across Contexts [52.9168275057997]
  本稿では、スケールアウト、データセットサイズ、ランタイムをデータフロージョブの記述的特性と組み合わせた新しいモデリング手法であるBelamyを提案する。 我々は,異なる環境で実行される各種データフロージョブの実行データからなる2つの公開データセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-07-29T11:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。