論文の概要: A Night at the LLM Zoo: Data Conditioned Flow Matching for Generating Pretrained LLM Weights

• arxiv url: http://arxiv.org/abs/2611.07103v1
• Date: Wed, 04 Nov 2026 20:16:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.444003
• Title: A Night at the LLM Zoo: Data Conditioned Flow Matching for Generating Pretrained LLM Weights
• Title（参考訳）: LLM動物園での夜-プレトレーニングLLM重量の生成のためのデータ条件付きフローマッチング-
• Abstract要約: 我々は、データ混合組成を体系的に変化させることで、重量空間生成に適用するためのモデル動物園を訓練する。 我々はこれらの個体群をコサイン類似性、機能多様性、Leave-One-Mixture-Outモデリング、分散分解によって分析する。 重み付き空間学習および生成の大規模言語モデル領域への継続的な拡張をサポートするため、すべてのソースコードとアーティファクトを作成します。
• 参考スコア（独自算出の注目度）: 46.40170307466562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A challenge to Weight Space Learning as it expands from task specific and vision models to Large Language Models (LLMs) is the absence of a well curated and analyzed LLM population. To address this, we train such a model zoo for application to Weight Space Generation by systematically varying the data mixture composition between web text, books, mathematics, coding, and French across populations of 51M, 124M, and 355M parameter GPT-2 Models, each tier with count N = 100. We analyze these populations by cosine similarity, functional diversity, Leave-One-Mixture-Out modeling, and variance decomposition. We show that the zoo contains diverse models whose variation is structured by training mixture composition. We embed the training mixture composition to condition a Flow Matching model of complete pretrained LLM weights in Gram-PCA compressed weight space. By demonstrating zero-shot generalization to held out mixtures, measuring Continuous Ranked Probability Score skill, as well as finding minimal changes in downstream test-set perplexity and general capability benchmark scores, we show that our generator generalizes on the simplex of data mixtures to produce models that perform similarly to those in the zoo ex nihilo. Finally, we produce all source code and artifacts to support the continued expansion of Weight Space Learning and Generation into the LLM domain.
• Abstract（参考訳）: タスク特化モデルやビジョンモデルからLarge Language Models (LLMs) へと拡張するにつれて、重み付き空間学習への挑戦は、十分にキュレートされ分析されたLLM人口が存在しないことである。 そこで本研究では,51M,124M,および355MパラメータGPT-2モデルを用いて,Webテキスト,書籍,数学,コーディング,フレンチ間のデータ混合合成を体系的に変化させることにより,重み空間生成に適用するためのモデル動物園を訓練する。 我々はこれらの個体群をコサイン類似性、機能多様性、Leave-One-Mixture-Outモデリング、分散分解によって分析する。 動物は, 混合合成の訓練によって構成される多様なモデルを含むことを示した。 本研究は,Gram-PCA圧縮重量空間におけるLLMの既訓練重量のフローマッチングモデルを条件に,トレーニング混合物組成を組み込んだものである。 実験結果から, 組立混合物のゼロショット一般化, 連続的ランク付け確率スコア技術の測定, 下流テストセットのパープレキシティと一般性能ベンチマークスコアの最小限の変化を見出すことにより, ジェネレータはデータ混合物の単純度を一般化し, 動物園のニヒロに類似したモデルを生成することを示した。 最後に,LLM領域への重み付き空間学習と生成の継続的な拡張を支援するため,すべてのソースコードとアーティファクトを生成した。

関連論文リスト

• WARP: Weight-Space Analysis for Recovering Training Data Portfolios [18.110321766137535]
  WARPは、細調整されたモデルのトレーニングミックスを、リリースしたウェイトから直接回収するフレームワークである。 WARPはモデルマージを使用してベースモデルと微調整モデルの補間を行い、不足したトレーニング軌跡を近似する擬似チェックポイントを生成する。 BERT と GPT-2 を用いた実験では、WARP は平均MAE のドメイン混合物を 0.046 と 0.104 でそれぞれ回復し、メンバシップ推論と真のトレーニング軌道にアクセス可能な変種より優れている。
  論文  参考訳（メタデータ） (2026-07-02T04:27:45Z)
• DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models [51.48564522455171]
  LLaMA-Factory上に構築されたデータ中心の動的トレーニングフレームワークであるDataFlexを紹介します。 DataFlexは、サンプル選択、ドメイン混合調整調整、データ再重み付けという、動的なデータ最適化の3つの主要なパラダイムをサポートします。 トレーナーの抽象化とモジュールコンポーネントを提供し、標準のLLMトレーニングをドロップインで置き換えることを可能にする。
  論文  参考訳（メタデータ） (2026-03-27T08:28:02Z)
• A Model Zoo on Phase Transitions in Neural Networks [25.60998565369589]
  重量空間学習法は、訓練されたモデルの集団を、開発と評価のためのデータセットとして要求する。 モデル動物園と呼ばれる既存のモデルのコレクションは、構造化されていないか、多様性の初歩的な定義に従っている。 我々は、モデル動物園のアイデアとフェーズ情報を組み合わせることで、人口の多様性の制御された概念を創出する。
  論文  参考訳（メタデータ） (2025-04-25T05:01:52Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。