論文の概要: Data-Efficient Scaling-Law Discovery for Recommendation Systems via Coupled Hyperparameter Scaling

• arxiv url: http://arxiv.org/abs/2611.05643v1
• Date: Tue, 03 Nov 2026 21:27:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.853644
• Title: Data-Efficient Scaling-Law Discovery for Recommendation Systems via Coupled Hyperparameter Scaling
• Title（参考訳）: 結合型ハイパーパラメータスケーリングによるレコメンデーションシステムのためのデータ効率のよいスケーリング-ローディスカバリ
• Abstract要約: 本稿では,プリミティブアーキテクチャパラメータをセマンティック・コヒーレントなグループにグループ化するスケーリング・レイヤを提案する。 Axiaはスケーリングインフォームドサロゲートに適合し、後方ベースの取得基準によって構成を選択する。 整合した試用予算の下で設定された定型代表モデルに基づいて計算されたフリートレベルの評価プロトコルは、いずれのコンポーネントも改善可能である。
• 参考スコア（独自算出の注目度）: 4.120761410624682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale ranking and recommendation models of Web platforms benefit from increased compute much as large language models do, and their scaling behavior is broadly power-law in form. Yet ranking models have heterogeneous architectures which makes their scaling law less straightforward than that of LLMs. We address how to discover the scaling law of an arbitrary ranking model efficiently. We introduce a scaling layer, which groups primitive architecture parameters into semantically coherent groups and defines how they co-vary, inducing a mapping from a low-dimensional space of hyper-hyperparameters into the full architecture space. On top of it, Axia fits scaling-informed surrogates, selects configurations by a posterior-based acquisition criterion, and returns a Pareto frontier from which per-model operating points are validated -- replacing exhaustive sweeps with a small number of informative runs. A fleet-level evaluation protocol, computed on a fixed representative model set under matched trial budgets, makes refinements to either component measurable. Our contribution is an automated system that learns model-specific complexity-quality relationships and gives uncertainty-aware guidance for allocating compute across a heterogeneous model ecosystem. Across 34 model iterations in two development cycles on Meta's ads ranking and retrieval system, the workflow yielded a mean 0.66% offline normalized-entropy improvement and 0.36% cumulative online lift.
• Abstract（参考訳）: Webプラットフォームの大規模ランキングとレコメンデーションモデルは、大規模言語モデルと同様に計算量の増加の恩恵を受ける。 しかし、ランキングモデルには異質なアーキテクチャがあるため、スケーリング法則はLLMよりも単純ではない。 任意のランキングモデルのスケーリング法則を効率的に発見する方法に対処する。 本稿では,基本的アーキテクチャパラメータをセマンティック・コヒーレントなグループにグループ化し,それらがどのように共存するかを定義し,低次元のハイパーパラメータ空間から完全なアーキテクチャ空間へのマッピングを誘導するスケーリング層を提案する。 さらに、Axiaはスケールインフォームされたサロゲートに適合し、後方ベースの取得基準によって構成を選択し、モデル毎のオペレーションポイントを検証するParetoフロンティアを返します。 整合した試用予算の下で設定された定型代表モデルに基づいて計算されたフリートレベルの評価プロトコルは、いずれのコンポーネントも改善可能である。 我々の貢献は、モデル固有の複雑性と品質の関係を学習し、不均一なモデルエコシステム全体にわたって計算を割り当てるための不確実性を考慮したガイダンスを提供する自動システムである。 Metaの広告ランキングと検索システムの2つの開発サイクルで34回にわたって、ワークフローは平均0.66%のオフライン正規化エントロピー改善と0.36%の累積オンラインリフトを得た。

関連論文リスト

• SuperAI: Merging Capabilities Across Heterogeneous Foundation Models [54.535999022059706]
  SuperAIは、複数のソースモデルからの補完機能をホストモデルに統合する、クロスアーキテクチャなマルチモデル融合フレームワークである。 15個の機能ドメインにわたる3つのホストモデルの実験により、SuperAIは評価されたクロスアーキテクチャ融合法よりも平均的なドメインスコアを達成することが示された。
  論文  参考訳（メタデータ） (2026-10-11T03:51:47Z)
• HELIX: Purified and Unified - Rethinking Feature Interaction and Sequence Modeling for Large-Scale Recommendation [19.79703207343657]
  大規模レコメンデーションのための浄化・統一アーキテクチャであるHELIXを提案する。 Helixは、オフラインのCTR AUC、CVR AUC、その他のランキングメトリクスを継続的に改善している。 オンラインA/Bテストでは、ユーザ当たりのEコマースビデオGMVが約6%増加した。
  論文  参考訳（メタデータ） (2026-09-29T10:06:26Z)
• Compute-Optimal Is Not Cluster-Optimal: Systems-Aware Scaling for Sparse Mixture-of-Experts [13.835014453826057]
  モデルアーキテクチャとシステムの共同設計を定式化したMOSAICを開発した。 スパースMixture-of-Experts(MoE)言語モデルのためのフレームワークをインスタンス化する。 キャリブレーションされた空間範囲内において,効率非依存のモデルFLOPs予算は内部最適空間を許容しないことを示す。
  論文  参考訳（メタデータ） (2026-08-11T07:49:00Z)
• A Simple and Effective Framework for Symmetric Consistent Indexing in Large-Scale Dense Retrieval [11.72564658353791]
  大規模情報検索システムでは,高効率・競争精度のため,高密度検索が業界標準となっている。 広く採用されているデュアルトウワー符号化アーキテクチャは、主に表現空間のミスアライメントと検索インデックスの不整合という、固有の課題を導入している。 本稿では2つの相乗的モジュールからなるシンプルで効果的なSCIフレームワークを提案する。 提案手法の有効性は,公開データセットと実世界のeコマースデータセットにまたがる結果によって検証され,理論的に保証される。
  論文  参考訳（メタデータ） (2025-12-15T08:11:24Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Painless Federated Learning: An Interplay of Line-Search and Extrapolation [0.6193838300896447]
  フェデレートラインサーチ(FedSLS)アルゴリズムを導入し、予測における決定論的レートを達成することを示す。 FedSLSは、部分的なクライアント参加であっても目的に対して線形収束を提供する。
  論文  参考訳（メタデータ） (2024-08-30T09:35:36Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。