論文の概要: LinMix: Data Mixing as Linear Domain Attribution

• arxiv url: http://arxiv.org/abs/2610.37390v1
• Date: Tue, 27 Oct 2026 15:14:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.672743
• Title: LinMix: Data Mixing as Linear Domain Attribution
• Title（参考訳）: LinMix: 線形ドメイン属性としてのデータ混合
• Abstract要約: 我々はLinMixを紹介します。これは、サンプルがキャップされた単純体の頂点に混ざり合って、各ドメインがキャップまたは欠落しているようにします。 LinMixは推論、コード、数学のベンチマークでDirichletベースのデータ混合よりも優れています。
• 参考スコア（独自算出の注目度）: 26.75257495396015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language model performance depends strongly on the mixture of domains in the pretraining data corpus. Popular data mixing methods select these domain weights by training many small proxy models on random mixes and then fitting a regression model to predict performance from the mix. We recognize this practice as a domain attribution problem, where the regression measures each domain's contribution to the target metric. Through this lens, the standard Dirichlet sampling of proxy data mixes is a poor regression design that requires tuning and cannot support a linear fit for hundreds of domains. Building on classical optimal experimental design, we introduce LinMix, which samples mixes at the vertices of the capped simplex so that each domain is at its cap or absent. This hyperparameter-free vertex sampling decorrelates domain effects, enabling an interpretable linear model whose coefficients are the domain attributions. The optimal mix given by LinMix provably keeps only domains with positive attribution values and requires no search over candidate mixes. We further establish the optimality of vertex sampling, and prove that Dirichlet sampling inflates the attribution error when its mixes concentrate around the prior data mix. Pretraining experiments with 1B-parameter OLMo2 and 4B Qwen3.5 language models show that LinMix outperforms Dirichlet-based data mixing across reasoning, code, and math benchmarks, with relative gains of 46% on MBPP and 14% on GSM8K. At 288 fine-grained domains, only vertex sampling supports a linear fit, and LinMix improves benchmark accuracy by 11% on average over the best nonlinear baseline.
• Abstract（参考訳）: 言語モデルの性能は、事前学習データコーパス内のドメインの混合に強く依存する。 一般的なデータミキシング手法は、ランダムなミックス上で多数の小さなプロキシモデルをトレーニングし、それから回帰モデルを適用して、ミックスのパフォーマンスを予測することで、これらのドメインウェイトを選択する。 我々は、このプラクティスをドメイン属性問題として認識し、レグレッションは各ドメインの目標メトリックへの貢献を測定する。 このレンズを通して、プロキシデータミックスの標準のDirichletサンプリングは、チューニングを必要とし、数百のドメインに対する線形適合をサポートしない、レグレッションの悪い設計である。 古典的最適実験設計に基づいてLinMixを導入し,各ドメインがキャップ内か欠落しているように,キャップ付き単純体の頂点にサンプルを混合する。 このハイパーパラメータフリーな頂点サンプリングは、ドメイン効果をデコレーションし、係数がドメイン属性である解釈可能な線形モデルを可能にする。 LinMixが与える最適混合は、正の帰属値を持つドメインのみを確実に保持し、候補ミックスを検索する必要がない。 さらに, 頂点サンプリングの最適性を確立し, ディリクレサンプリングが先行データ混合に集中する場合に, 帰属誤差を膨らませることを示す。 1BパラメータOLMo2と4B Qwen3.5言語モデルによる事前トレーニング実験により、LinMixは推論、コード、数学のベンチマークでDirichletベースのデータ混合よりも優れており、MBPPでは46%、GSM8Kでは14%の上昇を示した。 288のきめ細かいドメインでは、頂点サンプリングのみが線形適合をサポートし、LinMixは最高の非線形ベースラインよりも平均でベンチマーク精度を11%向上する。

関連論文リスト

• CausalMix: Data Mixture as Causal Inference for Language Model Training [25.091228095854415]
  大規模言語モデル(LLM)トレーニングでは、データミキシングはモデルの性能を決定する上で重要な役割を果たす。 最近の手法では、プロキシモデルによる混合重み付けを最適化しているが、静的なデータ分布の仮定に依存している。 本稿では、因果推論問題としてデータ混合最適化をキャストすることで、この制限に対処するCausalMixを提案する。
  論文  参考訳（メタデータ） (2026-07-01T15:56:11Z)
• FastMix: Fast Data Mixture Optimization via Gradient Descent [55.109758242985556]
  Fastmixは、単一のプロキシモデルのみをトレーニングしながら、データミックスの検出を自動化する新しいフレームワークである。 混合比の最適化は、均一なソースサンプリングの下で、ソース当たりの損失重みを割り当てることと数学的に等価であることを示す。 FASTmixはベースラインを上回り、事前トレーニングや後トレーニングで検索コストを大幅に削減する。
  論文  参考訳（メタデータ） (2026-06-12T21:46:57Z)
• CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training [63.07024608399447]
  本稿では,事前学習環境でデータ混合物を発見し,評価し,精製する自動フレームワークを提案する。 ClimbLabは、20のクラスタを研究用グラウンドとして、フィルタされた1.2トリリオントーケンコーパスであり、ClimbMixはコンパクトだが強力な400ビリオントーケンデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T17:58:13Z)
• SampleMix: A Sample-wise Pre-training Data Mixing Strategey by Coordinating Data Quality and Diversity [36.9096162214815]
  大規模言語モデル(LLM)の既存の事前学習データ混合手法は、一般的にドメインワイドな方法論に従う。 ボトムアップパラダイムに基づく新しいサンプルワイドデータ混合手法を提案する。
  論文  参考訳（メタデータ） (2025-03-03T13:22:11Z)
• RegMix: Data Mixture as Regression for Language Model Pre-training [40.45464495981735]
  本稿では,レグレッションタスクとして定式化することで,ハイパフォーマンスなデータ混合物を自動的に識別するRegMixを提案する。 RegMixは、様々なデータ混合物で多くの小さなモデルを訓練し、回帰を使って目に見えない混合物のパフォーマンスを予測し、予測された最良の混合を適用して、桁違いの計算量で大規模モデルを訓練する。
  論文  参考訳（メタデータ） (2024-07-01T17:31:03Z)
• Tailoring Mixup to Data for Calibration [12.050401897136501]
  混在するデータ間の距離によって、ラベルを間違ったラベルに割り当てる確率が増加することを示す。 本研究では, 混合する試料間の類似度に応じて, 係数の基底分布を動的に変化させることを提案する。
  論文  参考訳（メタデータ） (2023-11-02T17:48:28Z)
• Bidirectional Domain Mixup for Domain Adaptive Semantic Segmentation [73.3083304858763]
  本稿では,ドメイン適応型セマンティックセグメンテーションタスクにおけるミックスアップの影響を系統的に研究する。 具体的には、ドメインミックスアップをカットとペーストという2ステップで実現します。 フレームワークの主なコンポーネントを実証的に検証するために、広範囲にわたるアブレーション実験を行います。
  論文  参考訳（メタデータ） (2023-03-17T05:22:44Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
  MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。 トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。 提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-06T17:59:19Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。