論文の概要: Predictable Scaling: Efficient Model Exploration via Scaling-Law Prediction

• arxiv url: http://arxiv.org/abs/2610.23453v2
• Date: Wed, 21 Oct 2026 21:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:43.971011
• Title: Predictable Scaling: Efficient Model Exploration via Scaling-Law Prediction
• Title（参考訳）: 予測可能なスケーリング: スケーリング-行予測による効率的なモデル探索
• Abstract要約: Predictable Scalingは、実証済みの正則性条件を利用して、小規模プロキシから完全なモデルパフォーマンスを予測する。 PS は様々な仮説型にまたがる実行可能な仮説を 79-88% の計算還元で正しくランク付けする。
• 参考スコア（独自算出の注目度）: 24.471536377911594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating candidate changes (hypotheses) to recommendation models requires full-scale training runs consuming thousands of GPU-hours, severely limiting the hypothesis space engineers can feasibly explore. We introduce Predictable Scaling (PS), a systematic framework that exploits empirically verified regularity conditions to predict full-scale model performance from small-scale proxies. PS constructs scaled-down variants via composable scaling functions along distinct resource axes, and projects metrics to the target scale via curve fitting with calibrated uncertainty estimates. We compare three prediction strategies of increasing expressiveness: even the simplest (raw proxy) achieves prediction error within the empirical noise floor of repeated-run variance; the most expressive (Gaussian Process) provides an indicative 15% relative MAE improvement and calibrated uncertainty. Evaluation on two ranking models of increasing complexity---a task-specific model and a foundation model---demonstrates that PS correctly ranks actionable hypotheses across diverse hypothesis types at 79-88% compute reductions.
• Abstract（参考訳）: 推奨モデルに対する候補変更(仮説)を評価するには、数千のGPU時間を要するフルスケールのトレーニングが必要になる。 予測可能スケーリング(Predictable Scaling, PS)は, 経験的に検証された正規性条件を利用して, 小型プロキシから実スケールモデルの性能を予測するシステムフレームワークである。 PSは、異なるリソース軸に沿って構成可能なスケーリング関数を介してスケールダウンの変種を構築し、評価された不確実性推定を伴う曲線フィッティングによって目標スケールにメトリクスを投影する。 我々は,表現力を高めるための3つの予測戦略を比較した。最も単純な (raw proxy) でさえ,繰り返し発生するノイズフロア内の予測誤差を達成し,最も表現力が高い (Gaussian Process) は15%の相対的MAE改善とキャリブレーションの不確実性を示す。 タスク特化モデルと基礎モデルという2つのランク付けモデルの評価-PSが様々な仮説型で行動可能な仮説を79～88%の計算削減で正しくランク付けすることを実証する。

関連論文リスト

• Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training [11.179110411255708]
  トレーニング予算からベンチマークパフォーマンスのスケーリングをモデル化するための直接的なフレームワークを提案する。 その結果, 直接的アプローチは従来提案していた2段階の手順よりも優れていることがわかった。 事前学習損失と下流評価結果の完全なセットを公表する。
  論文  参考訳（メタデータ） (2025-12-09T18:33:48Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Awareness of uncertainty in classification using a multivariate model and multi-views [1.3048920509133808]
  提案モデルでは,不確かさ予測を正規化し,予測と不確かさ推定の両方を計算する訓練を行う。 複数ビュー予測と不確かさと信頼度を考慮し、最終的な予測を計算する方法をいくつか提案した。 提案手法はクリーンでノイズの多いラベル付きCIFAR-10データセットを用いて検証した。
  論文  参考訳（メタデータ） (2024-04-16T06:40:51Z)
• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Towards a performance characteristic curve for model evaluation: an application in information diffusion prediction [2.8686437689115354]
  拡散データのランダム性を定量化するために,情報エントロピーに基づくメトリクスを提案する。 次に,モデルのランダム性と予測精度の間のスケーリングパターンを同定する。 曲線の妥当性は、同じ家系の3つの予測モデルによって検証される。
  論文  参考訳（メタデータ） (2023-09-18T07:32:57Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression [14.493176427999028]
  線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
  論文  参考訳（メタデータ） (2022-02-10T18:51:52Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Gaussian Process Regression with Local Explanation [28.90948136731314]
  本稿では,各サンプルの予測に寄与する特徴を明らかにするため,局所的な説明を伴うGPRを提案する。 提案モデルでは,各サンプルの予測と説明を,容易に解釈可能な局所線形モデルを用いて行う。 新しい試験サンプルでは, 対象変数と重みベクトルの値と不確かさを予測できる。
  論文  参考訳（メタデータ） (2020-07-03T13:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。