論文の概要: A Theoretical Framework for Modular Learning of Robust Generative Models

• arxiv url: http://arxiv.org/abs/2602.17554v1
• Date: Thu, 19 Feb 2026 17:09:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.228729
• Title: A Theoretical Framework for Modular Learning of Robust Generative Models
• Title（参考訳）: ロバスト生成モデルのモジュール学習のための理論的枠組み
• Authors: Corinna Cortes, Mehryar Mohri, Yutao Zhong,
• Abstract要約: 大規模生成モデルのトレーニングはリソース集約的であり、データセットの重み付けに大きく依存している。 本稿では,事前学習した専門家の集合をゲーティング機構を介して組み合わせたモジュラー生成モデリングの理論的枠組みを提案する。 モジュラーアーキテクチャは、競合を効果的に軽減し、モノリシックなベースラインを堅牢に上回ることを示す。
• 参考スコア（独自算出の注目度）: 41.69461814486466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large-scale generative models is resource-intensive and relies heavily on heuristic dataset weighting. We address two fundamental questions: Can we train Large Language Models (LLMs) modularly-combining small, domain-specific experts to match monolithic performance-and can we do so robustly for any data mixture, eliminating heuristic tuning? We present a theoretical framework for modular generative modeling where a set of pre-trained experts are combined via a gating mechanism. We define the space of normalized gating functions, $G_{1}$, and formulate the problem as a minimax game to find a single robust gate that minimizes divergence to the worst-case data mixture. We prove the existence of such a robust gate using Kakutani's fixed-point theorem and show that modularity acts as a strong regularizer, with generalization bounds scaling with the lightweight gate's complexity. Furthermore, we prove that this modular approach can theoretically outperform models retrained on aggregate data, with the gap characterized by the Jensen-Shannon Divergence. Finally, we introduce a scalable Stochastic Primal-Dual algorithm and a Structural Distillation method for efficient inference. Empirical results on synthetic and real-world datasets confirm that our modular architecture effectively mitigates gradient conflict and can robustly outperform monolithic baselines.
• Abstract（参考訳）: 大規模生成モデルのトレーニングはリソース集約的であり、ヒューリスティックデータセットの重み付けに大きく依存している。 モノリシックなパフォーマンスに合わせるために、モジュール化されたドメイン特化の専門家をモジュール化して、LLM(Large Language Models)をトレーニングできます。 本稿では,事前学習した専門家の集合をゲーティング機構を介して組み合わせたモジュラー生成モデリングの理論的枠組みを提案する。 正規化ゲーティング関数の空間を$G_{1}$と定義し、問題をミニマックスゲームとして定式化し、最悪のデータ混合への発散を最小限に抑える単一のロバストゲートを見つける。 覚谷の固定点定理を用いてそのようなロバストゲートの存在を証明し、モジュラリティが強正則化として作用し、一般化は軽量ゲートの複雑さとスケーリングすることを示した。 さらに、このモジュラーアプローチは、Jensen-Shannon Divergenceによって特徴づけられるギャップによって、集合データ上で再訓練されたモデルよりも理論的に優れていることを証明した。 最後に、スケーラブルな確率的原始双対アルゴリズムと効率的な推論のための構造蒸留法を導入する。 合成および実世界のデータセットに関する実証的な結果は、モジュラーアーキテクチャが勾配の衝突を効果的に軽減し、モノリシックなベースラインを頑健に上回ることを証明している。

関連論文リスト

• Theoretical Foundations of Scaling Law in Familial Models [46.506708373314375]
  モデルサイズ(N)とトレーニングトークン(D)とともに、基本的なスケーリング変数としてグラニュラリティ(G)を導入します。 この結果から, 極小指数の乗法則に準じる粒度ペナルティが明らかとなった。 のパラダイムを検証することで、デプロイメントの柔軟性が達成可能であることを実証しています。
  論文  参考訳（メタデータ） (2025-12-29T12:01:58Z)
• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• Modular connectivity in neural networks emerges from Poisson noise-motivated regularisation, and promotes robustness and compositional generalisation [9.273764753674177]
  脳内の回路は、一般に複雑なタスクを分解するモジュラーアーキテクチャを示す。 対照的に、人工ニューラルネットワーク(ANN)は全ての処理を混合しているように見える。 活動依存型ニューラルノイズと非線形ニューラルレスポンスが組み合わさって解の出現を促すことを示す。
  論文  参考訳（メタデータ） (2025-12-05T20:20:36Z)
• Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate [1.0152838128195467]
  大規模言語モデル(LLM)をスケールするための一般的なパラダイムは、モノリシックなエンドツーエンドのトレーニングである。 本稿では,トランスフォーマーにおける創発的意味論の原理によって実現された,代替的,建設的なスケーリングパラダイムについて考察する。 私たちはこれを、初期段階の厳密な層凍結とモデルスタック全体の効率的で総合的な微調整を組み合わせた、階層的に構築的な手法で運用します。
  論文  参考訳（メタデータ） (2025-07-08T20:01:15Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。