論文の概要: Domain-Aware Scaling Laws Uncover Data Synergy

• arxiv url: http://arxiv.org/abs/2607.11052v1
• Date: Mon, 13 Jul 2026 03:31:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.324485
• Title: Domain-Aware Scaling Laws Uncover Data Synergy
• Title（参考訳）: ドメイン対応スケーリング法則がデータのシナジーを解明
• Abstract要約: 我々は、言語モデルの事前学習において、データのシナジーを形式化し、定量化する。 ドメインに依存しないスケーリング法則よりも予測精度が向上する。 我々は,これらの推定を,予測された最適および予測された対最適混合のトレーニングモデルにより検証する。
• 参考スコア（独自算出の注目度）: 22.97719264150389
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning progress is often attributed to scaling model size and dataset volume, yet the composition of data can be just as consequential. Empirical findings repeatedly show that combining datasets from different domains yields nontrivial interactions. For instance, adding code improves mathematical reasoning, while certain mixtures introduce interference that reduces model performance. We refer to these effects collectively as data synergy, where the contribution of multiple domains exceeds or falls short of the sum of their isolated contributions. In this work, we formalize and quantify data synergy in language model pretraining. Leveraging observational variation across open-weight LLMs with diverse pretraining mixtures, we estimate both direct domain-to-benchmark synergy (how one domain contributes to performance on another) and a second-order domain-domain synergy (capabilities that require co-occurrence of multiple domains). Our framework improves predictive accuracy over domain-agnostic scaling laws and recovers stable synergy estimates. We validate these estimates by training models on predicted optimal and predicted anti-optimal mixtures and confirm that our synergy estimates correctly predict performance rankings.
• Abstract（参考訳）: 機械学習の進歩は、しばしばモデルのサイズとデータセットのボリュームのスケーリングに起因する。 実験的な発見は、異なるドメインのデータセットを組み合わせることで、非自明な相互作用が生まれることを繰り返し示す。 例えば、コードの追加は数学的推論を改善するが、特定の混合は干渉を導入し、モデルの性能が低下する。 我々はこれらの効果をまとめてデータ相乗効果と呼び、複数のドメインの寄与が、その独立した貢献の総和を超えるか、または不足する。 本研究では,言語モデル事前学習におけるデータシナジーの形式化と定量化を行う。 種々の事前学習混合を伴うオープンウェイトLLM間の観測変動を利用して、直接ドメイン間ベンチマークのシナジー(一方のドメインが他方のパフォーマンスにどのように貢献するか)と2階ドメイン-ドメインのシナジー(複数のドメインの共起を必要とする能力)の両方を推定する。 本フレームワークは,ドメインに依存しないスケーリング法則の予測精度を改善し,安定なシナジー推定を復元する。 最適・最適混合予測モデルを用いて,これらの推定値を評価するとともに,相乗推定値が性能ランキングを正確に予測することを確認する。

関連論文リスト

• Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting [63.86964530167364]
  本稿では,ダイリクレ分布からの重み付けを,観測から得られたガンマ事前情報を用いて推定するベイズ領域重み付け手法を提案する。 実験により,提案手法は安定かつ効率的な領域重み付け学習を実現し,探索に基づく関数適合法よりもはるかに少ないデータを消費し,大規模アプリケーションにおいて最適化に基づく領域重み付けを活性化する。
  論文  参考訳（メタデータ） (2026-07-30T09:41:02Z)
• Explaining Data Mixing Scaling Laws [2.1378946778058796]
  データミキシングの基礎となる力学を説明する統一的なフレームワークを提案する。 異なるデータ混合物で訓練されたモデルのドメイン損失を管理する2つの重要な要因を同定する。 我々のモデルは、大規模で目に見えないスケールで非常に効果的な混合物を予測し、スケールをまたいだ外挿に成功している。
  論文  参考訳（メタデータ） (2026-06-06T13:31:38Z)
• Data Mixing Agent: Learning to Re-weight Domains for Continual Pre-training [30.915768238214653]
  Data Mixing Agentは、ドメインの再重み付けを学ぶエンドツーエンドフレームワークである。 未確認のソースフィールド、ターゲットモデル、そして再トレーニングなしでドメイン空間をうまく一般化する。
  論文  参考訳（メタデータ） (2025-07-21T14:01:54Z)
• DIDS: Domain Impact-aware Data Sampling for Large Language Model Training [61.10643823069603]
  大規模言語モデルに対するドメインインパクト対応データサンプリング(DIDS)を提案する。 学習効果に基づくDIDSグループトレーニングデータでは、プロキシ言語モデルと次元削減が使用される。 同等のトレーニング効率を維持しながら平均パフォーマンスを3.4%向上させる。
  論文  参考訳（メタデータ） (2025-04-17T13:09:38Z)
• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Transformer Based Multi-Source Domain Adaptation [53.24606510691877]
  実践的な機械学習設定では、モデルを予測しなければならないデータは、トレーニングされたデータとは異なる分布から生まれることが多い。 本稿では、複数のソースドメインからラベル付きデータに基づいてモデルを訓練し、ラベル付きデータが見られないドメイン上で予測を行う、教師なしマルチソースドメイン適応の問題について検討する。 本研究では,大規模な事前学習型変圧器を用いたドメインエキスパートの予測が極めて均質であることを示し,それらの予測を混在させる効果的な関数の学習を困難にしている。
  論文  参考訳（メタデータ） (2020-09-16T16:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。