論文の概要: Design Once, Deploy at Scale: Template-Driven ML Development for Large Model Ecosystems

• arxiv url: http://arxiv.org/abs/2603.24963v1
• Date: Thu, 26 Mar 2026 02:58:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.063678
• Title: Design Once, Deploy at Scale: Template-Driven ML Development for Large Model Ecosystems
• Title（参考訳）: 大規模なモデルエコシステムのためのテンプレート駆動型ML開発
• Authors: Jiang Liu, John Martabano Landy, Yao Xuan, Swamy Muddu, Nhat Le, Munaf Sahaf, Luc Kien Hang, Rupinder Khandpour, Kevin De Angeli, Chang Yang, Shouyuan Chen, Shiblee Sadik, Ani Agrawal, Djordje Gligorijevic, Jingzheng Qin, Peggy Yao, Alireza Vahdatpour,
• Abstract要約: 本稿では、標準化されたモデル構築手法とレコメンデーションシステムにおける独立したモデルごとの最適化におけるモデル性能、効率、ML技術伝播の比較検討を行う。 標準化された構成可能なMLモデルコンポーネントを利用することで、技術伝播の複雑さを$O(n cdot 2k)$から$O(n + k)$に減らします。
• 参考スコア（独自算出の注目度）: 8.291206271989822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern computational advertising platforms typically rely on recommendation systems to predict user responses, such as click-through rates, conversion rates, and other optimization events. To support a wide variety of product surfaces and advertiser goals, these platforms frequently maintain an extensive ecosystem of machine learning (ML) models. However, operating at this scale creates significant development and efficiency challenges. Substantial engineering effort is required to regularly refresh ML models and propagate new techniques, which results in long latencies when deploying ML innovations across the ecosystem. We present a large-scale empirical study comparing model performance, efficiency, and ML technique propagation between a standardized model-building approach and independent per-model optimization in recommendation systems. To facilitate this standardization, we propose the Standard Model Template (SMT) -- a framework that generates high-performance models adaptable to diverse data distributions and optimization events. By utilizing standardized, composable ML model components, SMT reduces technique propagation complexity from $O(n \cdot 2^k)$ to $O(n + k)$ where $n$ is the number of models and $k$ the number of techniques. Evaluating an extensive suite of models over four global development cycles within Meta's production ads ranking ecosystem, our results demonstrate: (1) a 0.63% average improvement in cross-entropy at neutral serving capacity, (2) a 92% reduction in per-model iteration engineering time, and (3) a $6.3\times$ increase in technique-model pair adoption throughput. These findings challenge the conventional wisdom that diverse optimization goals inherently require diversified ML model design.
• Abstract（参考訳）: 現代の計算広告プラットフォームは、通常、クリックスルー率、変換率、その他の最適化イベントなどのユーザの反応を予測するためのレコメンデーションシステムに依存している。 幅広い製品表面と広告主の目標をサポートするため、これらのプラットフォームは機械学習(ML)モデルの広範なエコシステムを頻繁に維持する。 しかし、このスケールでの運用は、開発と効率の面で大きな課題を生み出します。 MLモデルを定期的にリフレッシュし、新しいテクニックを広めるためには、実質的なエンジニアリングの努力が必要だ。 本稿では,モデルの性能,効率,ML手法の伝播を,標準化されたモデル構築アプローチとレコメンデーションシステムにおける独立したモデルごとの最適化とで比較した大規模な実証的研究について述べる。 この標準化を容易にするために,多様なデータ分散や最適化イベントに対応する高性能なモデルを生成するフレームワークであるStandard Model Template (SMT)を提案する。 標準化された構成可能なMLモデルコンポーネントを利用することで、SMTは技術伝播の複雑さを$O(n \cdot 2^k)$から$O(n + k)$に還元する。 その結果,(1)中立サービス能力におけるクロスエントロピーの平均改善率0.63%,(2)モデル毎のイテレーションエンジニアリング時間を92%削減し,(3)技術モデルとモデルペアの採用スループットを6.3倍に向上させた。 これらの知見は、多様な最適化目標が本質的に多様なMLモデル設計を必要とするという従来の知恵に挑戦する。

関連論文リスト

• Bending the Scaling Law Curve in Large-Scale Recommendation Systems [25.722146264492096]
  提案するULTRA-HSTUは,エンド・ツー・エンド・エンド・モデルとシステム共同設計によって開発された新しいシーケンシャル・レコメンデーション・モデルである。 私たちのソリューションは大規模にデプロイされており、毎日数十億のユーザにサービスを提供しています。
  論文  参考訳（メタデータ） (2026-02-19T01:15:17Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  我々は、MLLMのマルチモーダル推論能力を高めるために、選好最適化(PO)プロセスを導入する。 具体的には、自動選好データ構築パイプラインを設計し、高品質で大規模なマルチモーダル推論選好データセットであるMMPRを作成する。 マルチモーダルCoT性能を向上するMPO(Mixed Preference Optimization)と呼ばれるシンプルな手法を開発した。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• CubicML: Automated ML for Large ML Systems Co-design with ML Prediction of Performance [7.425372356516303]
  ディープラーニングモデルのスケールアップは、機械学習モデル(ML)のインテリジェンスを改善するために有効であることが証明されている。 本稿では,大規模分散MLシステムのトレーニング性能を自動最適化するCuicMLを提案する。 我々は,CubicMLがメタ広告において,73億のパラメータと最大4050億のパラメータを持つ社内推薦モデルのトレーニング速度を効果的に最適化できることを証明した。
  論文  参考訳（メタデータ） (2024-09-06T19:55:21Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Low-Precision Hardware Architectures Meet Recommendation Model Inference at Scale [11.121380180647769]
  本稿では,低精度ハードウェアに参照レコメンデーションモデルを適用するための検索戦略について紹介する。 また,ツールチェーンの設計と開発について論じ,モデルの精度を生涯にわたって維持する。 これらの教訓は,ハードウェアアーキテクチャとソフトウェアエンジニアリングの協調設計を促進するものだ,と私たちは信じています。
  論文  参考訳（メタデータ） (2021-05-26T16:42:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。