論文の概要: Rethinking Data Mixing from the Perspective of Large Language Models

• arxiv url: http://arxiv.org/abs/2604.07963v1
• Date: Thu, 09 Apr 2026 08:25:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.80018
• Title: Rethinking Data Mixing from the Perspective of Large Language Models
• Title（参考訳）: 大規模言語モデルから見たデータ混合の再考
• Authors: Yuanjian Xu, Tianze Sun, Changwei Xu, XinLong Zhao, Jianing Hao, Ran Chen, Yang Liu, Ruijie Xu, Stephen Chen, Guang Zhang,
• Abstract要約: 大規模言語モデル(LLM)訓練にはデータ混合戦略が不可欠であり,不適切な戦略が一般化を著しく減少させることを示す実証的証拠がある。 本稿では,データスケジューリングをグラフ制約付き最適化問題として定式化するフレームワークであるDoGraphを紹介する。
• 参考スコア（独自算出の注目度）: 8.321564977096974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data mixing strategy is essential for large language model (LLM) training. Empirical evidence shows that inappropriate strategies can significantly reduce generalization. Although recent methods have improved empirical performance, several fundamental questions remain open: what constitutes a domain, whether human and model perceptions of domains are aligned, and how domain weighting influences generalization. We address these questions by establishing formal connections between gradient dynamics and domain distributions, offering a theoretical framework that clarifies the role of domains in training dynamics. Building on this analysis, we introduce DoGraph, a reweighting framework that formulates data scheduling as a graph-constrained optimization problem. Extensive experiments on GPT-2 models of varying scales demonstrate that DoGraph consistently achieves competitive performance.
• Abstract（参考訳）: データミキシング戦略は、大規模言語モデル(LLM)訓練に不可欠である。 実証的な証拠は、不適切な戦略が一般化を著しく減少させることを示している。 最近の手法は経験的性能を改善しているが、ドメインを構成するもの、ドメインの人間的およびモデル的認識が整列しているかどうか、ドメイン重み付けが一般化にどのように影響するか、といったいくつかの根本的な疑問が残っている。 我々は、勾配力学と領域分布の形式的関係を確立することでこれらの問題に対処し、訓練力学における領域の役割を明らかにする理論的枠組みを提供する。 この分析に基づいて,データスケジューリングをグラフ制約付き最適化問題として定式化する再重み付けフレームワークであるDoGraphを紹介する。 様々なスケールのGPT-2モデルに対する大規模な実験は、DoGraphが一貫して競争性能を達成することを示した。

関連論文リスト

• Graph Foundation Models: Bridging Language Model Paradigms and Graph Optimization [4.502753947356616]
  グラフ構造上の全ての距離に基づく最適化問題を解くことができる最初のフレームワークであるグラフ基礎モデル(GFM)を紹介する。 GFMはグラフの複雑なトポロジカルおよびニューラルルールを内部化し、構造自体の接続を監督信号として扱うことができる。 本研究は, グラフ最適化にプリトレイン・トランスファー・フレームワークを適用する新たなパラダイムを確立し, 基礎モデル革新をオペレーション・リサーチに適用するための扉を開く。
  論文  参考訳（メタデータ） (2025-09-29T04:05:48Z)
• Out-of-Distribution Graph Models Merging [9.926662903459691]
  本稿では,複数の領域の混合分布をインスタンス化するグラフ生成戦略を提案する。 私たちのフレームワークはアーキテクチャに依存しないので、ソース/ターゲットドメインデータなしで運用できます。
  論文  参考訳（メタデータ） (2025-06-04T08:04:07Z)
• GraphOracle: A Foundation Model for Knowledge Graph Reasoning [9.894106590443714]
  知識グラフ間の推論を統一する関係中心基盤モデルであるtextbftextscGraphOracleを紹介する。 クエリ依存型アテンション機構は,関係性と実体性の両方について帰納的表現を学習するために開発された。 多様な知識グラフの事前学習と、数分レベルの微調整により、実体、関係、グラフ全体に対する効果的な一般化が可能となる。
  論文  参考訳（メタデータ） (2025-05-16T11:14:57Z)
• A Large-scale Benchmark on Geological Fault Delineation Models: Domain Shift, Training Dynamics, Generalizability, Evaluation and Inferential Behavior [11.859145373647474]
  本研究は,地震解析における領域シフト戦略のガイドラインを提供するために設計された,最初の大規模ベンチマーク研究である。 私たちのベンチマークでは、モデルアーキテクチャ、データセット、トレーニング戦略を3つのデータセットで200以上組み合わせています。 我々の分析は、ソースとターゲットのデータセットが結合していない場合、一般的な微調整のプラクティスが破滅的な忘れを招きかねないことを示している。
  論文  参考訳（メタデータ） (2025-05-13T13:56:43Z)
• Gradient-Guided Annealing for Domain Generalization [5.124256074746721]
  ドメインの一般化効率を向上させるため,GGAアルゴリズムを提案する。 GGAの有効性は、広く受け入れられ、困難な画像分類領域の一般化ベンチマークで評価される。
  論文  参考訳（メタデータ） (2025-02-27T15:01:55Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
  我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。 我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
  論文  参考訳（メタデータ） (2024-06-17T06:20:39Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
  教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。 領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
  論文  参考訳（メタデータ） (2021-06-21T18:21:09Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。