論文の概要: Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting

• arxiv url: http://arxiv.org/abs/2607.27928v1
• Date: Thu, 30 Jul 2026 09:41:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.490284
• Title: Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting
• Title（参考訳）: ベイジアン領域再重み付けによるデータ混合の最適化の可能性
• Abstract要約: 本稿では,ダイリクレ分布からの重み付けを,観測から得られたガンマ事前情報を用いて推定するベイズ領域重み付け手法を提案する。 実験により,提案手法は安定かつ効率的な領域重み付け学習を実現し,探索に基づく関数適合法よりもはるかに少ないデータを消費し,大規模アプリケーションにおいて最適化に基づく領域重み付けを活性化する。
• 参考スコア（独自算出の注目度）: 63.86964530167364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of Large Language Models (LLMs) is fundamentally influenced by the distributional composition of multi-domain pre-training data. While manual heuristics were prevalent in early models, they increasingly fail to capture the intricate synergies between domains as data complexity grows. To overcome the issue, a dominant approach seeks to fit a proxy function mapping between domain weights and their corresponding validation losses, and then find the optimal domain weights to minimize validation losses. These methods rely on strong structural assumptions, such as rank invariance or scaling laws, which are often violated, resulting in non-negligible estimation bias. A promising approach is to directly optimize the weighting scheme from data. However, it suffers from unstable optimization trajectory and prohibitive computational overhead, limiting its potential to search better domain weights configurations. This paper presents a Bayesian domain weighting method to infer the weights from a Dirichlet distribution via introducing Gamma prior information learned from observations. Experimental results demonstrate that proposed method could achieve stable and efficient domain weights learning, and identifies optimal mixtures while consuming substantially less data than search-based function-fitting methods, revitalizing optimization-based domain weighting for large-scale applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)の性能は,マルチドメイン事前学習データの分布構成に大きく影響される。 手動ヒューリスティックは初期のモデルでは一般的だったが、データの複雑さが増大するにつれて、ドメイン間の複雑なシナジーを捉えることに失敗する傾向にある。 この問題を克服するために、支配的なアプローチは、ドメインの重みとそれに対応するバリデーション損失の間のプロキシ関数マッピングを適合させ、それから、バリデーション損失を最小化する最適なドメインの重みを見つけることである。 これらの手法は、ランク不変性やスケーリング法則のような強い構造的仮定に依存しており、しばしば違反され、非無視的な推定バイアスをもたらす。 有望なアプローチは、データから直接重み付けスキームを最適化することである。 しかし、不安定な最適化軌道と計算オーバーヘッドに悩まされ、より優れたドメイン重み付け構成を探索する可能性を制限する。 本稿では,ダイリクレ分布からの重み付けを,観測から得られたガンマ事前情報を用いて推定するベイズ領域重み付け手法を提案する。 実験により,提案手法は安定かつ効率的な領域重み付け学習を実現し,探索に基づく関数適合法よりもはるかに少ないデータを消費し,大規模アプリケーションにおいて最適化に基づく領域重み付けを活性化する。

関連論文リスト

• Adaptive Weighted Loss for Sequential Recommendations on Sparse Domains [0.0]
  単一の均一な重みは、非常に少ない相互作用を持つドメインでは不十分であり、トレーニング信号は広大な汎用データセットによって容易に希釈される。 本稿では, 包括的理論的基礎と広範な実証検証を備えた動的重み付きロス関数を提案する。
  論文  参考訳（メタデータ） (2025-10-05T21:42:33Z)
• Data Mixing Optimization for Supervised Fine-Tuning of Large Language Models [5.626695215498112]
  最適化問題としてデータミキシングを枠組み化し,検証損失を最小限に抑える新しい手法を提案する。 提案手法は, 効率的なデータ転送をモデル化し, スケール法則を微調整に活用することにより, 損失をパラメタライズする。 提案アルゴリズムは,全領域にわたる総合的,個人的パフォーマンスに優れることを示す。
  論文  参考訳（メタデータ） (2025-08-16T07:28:39Z)
• Data Mixing Agent: Learning to Re-weight Domains for Continual Pre-training [30.915768238214653]
  Data Mixing Agentは、ドメインの再重み付けを学ぶエンドツーエンドフレームワークである。 未確認のソースフィールド、ターゲットモデル、そして再トレーニングなしでドメイン空間をうまく一般化する。
  論文  参考訳（メタデータ） (2025-07-21T14:01:54Z)
• DIDS: Domain Impact-aware Data Sampling for Large Language Model Training [61.10643823069603]
  大規模言語モデルに対するドメインインパクト対応データサンプリング(DIDS)を提案する。 学習効果に基づくDIDSグループトレーニングデータでは、プロキシ言語モデルと次元削減が使用される。 同等のトレーニング効率を維持しながら平均パフォーマンスを3.4%向上させる。
  論文  参考訳（メタデータ） (2025-04-17T13:09:38Z)
• Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
  本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。 オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。 提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
  論文  参考訳（メタデータ） (2024-08-05T03:18:58Z)
• Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification [50.406127962933915]
  ACOWAは、小さなランタイムの増加とともに、顕著に優れた近似品質を達成するための追加の通信を可能にする。 その結果、ACOWAは経験的リスク最小化に忠実で、他の分散アルゴリズムよりもかなり高い精度で解が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-03T19:43:06Z)
• DoGE: Domain Reweighting with Generalization Estimation [42.32000165235568]
  一般化推定(DoGE)を用いたDOmain再重み付けを提案する。 実験では、DoGEがベースモデルの一般化をターゲットデータ混合にどのように改善するかを広範囲に示す。 DoGEはドメイン間の依存関係を効果的に識別することができ、一貫してターゲットドメインにおけるテストの難易度を向上する。
  論文  参考訳（メタデータ） (2023-10-23T22:51:58Z)
• Domain Generalization via Domain-based Covariance Minimization [4.414778226415752]
  本稿では,領域間の条件分布の差を最小限に抑えるために,複数の領域に対する新しい分散測定法を提案する。 小規模なデータセットでは、未確認のテストデータセットよりも優れた一般化性能を示す、より良い定量的結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T19:30:15Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。