論文の概要: Scaling Laws for Behavioral Foundation Models over User Event Sequences

• arxiv url: http://arxiv.org/abs/2606.05257v1
• Date: Wed, 03 Jun 2026 15:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.289461
• Title: Scaling Laws for Behavioral Foundation Models over User Event Sequences
• Title（参考訳）: 行動基礎モデルのユーザイベントシーケンスによるスケーリング法則
• Abstract要約: 本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。 約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。 計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
• 参考スコア（独自算出の注目度）: 2.924581427482972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are increasingly trained on sequences of user actions in recommendation, payments, fraud, and commerce, but these models still lack the kind of compute calibration that scaling laws provide for language models. We study a common two-part behavioral-model architecture: a feature-based event embedder maps each multi-modal item to a vector, and a decoder-only transformer predicts the next event from the resulting sequence. Across roughly 600 runs on real interaction data, spanning $10^{15}$-$10^{19}$ training FLOPs, we jointly vary four deployment-relevant axes: the two-part parameter split, critical batch size, model/data allocation, and the number of sampled negatives used after freezing the embedder. A small embedder ($s^{\star}\!\approx\!2\%$ of parameters) is compute-optimal at every budget we test because embedder parameters are both more expensive per step and exposed to far more repeated items than contextualizer parameters. Compute-optimal training is data-heavy relative to text at low compute, but its $D/N$ ratio moves toward the Chinchilla heuristic as compute increases. The sampled training objective and deployed ranking metrics disagree in ways that themselves scale: critical batch size, optimal negative count after freezing, and the agreement between loss and ranking quality all shift with compute and with the chosen evaluation metric. For negative sampling, larger budgets increasingly prefer more negatives; by $10^{19}$ FLOPs the active constraint is candidate-axis memory rather than FLOPs. In behavioral foundation models, the evaluation metric is therefore part of the scaling law: changing it can change the compute-optimal recipe.
• Abstract（参考訳）: ファンデーションモデルは、リコメンデーション、支払い、詐欺、商取引の一連のユーザー行動に基づいて、ますます訓練されているが、これらのモデルには、言語モデルにスケール法が与える計算キャリブレーションが欠けている。 特徴に基づくイベント埋め込みは、各マルチモーダルアイテムをベクトルにマッピングし、デコーダのみの変換器は、結果のシーケンスから次のイベントを予測する。 FLOPsのトレーニングには,2つのパラメータスプリット,クリティカルバッチサイズ,モデル/データアロケーション,組込み器の凍結後に使用されるサンプル負の数という,配置関連軸の4つが共同で使用されている。 小さな埋め込み機(s^{\star}\! \approx\! なぜなら、埋め込みパラメータはステップ当たりのコストが高く、コンテクストのパラメータよりもはるかに反復的なアイテムに晒されるからです。 計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、そのD/N$比は計算が増加するにつれてチンチラヒューリスティックに移行する。 サンプル化されたトレーニング目標とデプロイされたランキングメトリクスは、クリティカルバッチサイズ、凍結後の最適負のカウント、損失とランキング品質の計算によるシフトと選択された評価指標との一致など、それ自体がスケールする方法に異を唱えている。 負のサンプリングでは、より大きな予算ではより負の値が好まれる。10^{19}$ FLOP では、アクティブな制約は FLOP ではなく、候補軸メモリである。 行動基礎モデルでは、評価基準はスケール法則の一部であり、それを変更すれば計算-最適レシピを変更できる。

関連論文リスト

• Test-Time Scaling Makes Overtraining Compute-Optimal [23.520624926542755]
  モデルサイズ、トレーニングトークン、推論サンプルの数を共同で最適化するTrain-to-Test(T2$)スケーリング法則を提示します。 T2$は、テストタイムスケーリングに使用されるpass@k$モデリングで事前トレーニングの法則を近代化し、その後、共同で事前トレーニングとテストタイムの決定を最適化する。
  論文  参考訳（メタデータ） (2026-04-01T21:17:32Z)
• DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
  コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。 モデル応答の多様性を最大化するサンプルを選択することが重要となる。 我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
  論文  参考訳（メタデータ） (2025-10-09T08:53:59Z)
• Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks [17.067788440109137]
  現在、Mixture-of-Experts (MoE)モデルは最先端システムでは標準となっている。 記憶能力と推論能力の2つの異なる能力体制にMoEがどのような影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-08-26T04:31:28Z)
• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• SCA-Net: A Self-Correcting Two-Layer Autoencoder for Hyper-spectral Unmixing [3.918940900258555]
  本研究では,2層オートエンコーダ(SCA-Net)が,従来報告されていた値から10～5ドル程度のスケールの誤差測定値を実現することを示す。 また、両直交表現に基づくSCA-Netは、エンドメンバー数が過剰に指定された場合に自己補正を行うことを示す。
  論文  参考訳（メタデータ） (2021-02-10T19:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。