論文の概要: Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection

• arxiv url: http://arxiv.org/abs/2604.22753v1
• Date: Fri, 24 Apr 2026 17:59:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.553411
• Title: Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection
• Title（参考訳）: 費用対効果: アクティブな実験選択による予算効率のよいスケーリング法則
• Abstract要約: スケーリング法は、数百万ドルのトレーニングランを計画するために使用されるが、それらの法律に適合させることは、それ自体に数百万ドルかかる可能性がある。 予算対応型シーケンシャルな実験設計として,スケーリング・ロー・フィッティングを定式化する。 我々の手法は、古典的なデザインベースラインを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 47.08947536590993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling laws are used to plan multi-million-dollar training runs, but fitting those laws can itself cost millions. In modern large-scale workflows, assembling a sufficiently informative set of pilot experiments is already a major budget-allocation problem rather than a routine preprocessing step. We formulate scaling-law fitting as budget-aware sequential experimental design: given a finite pool of runnable experiments with heterogeneous costs, choose which runs to execute so as to maximize extrapolation accuracy in a high-cost target region. We then propose an uncertainty-aware method for sequentially allocating experimental budget toward the runs most useful for target-region extrapolation. Across a diverse benchmark of scaling-law tasks, our method consistently outperforms classical design-based baselines, and often approaches the performance of fitting on the full experimental set while using only about 10% of the total training budget. Our code is available at https://github.com/PlanarG/active-sl.
• Abstract（参考訳）: スケーリング法は、数百万ドルのトレーニングランを計画するために使用されるが、それらの法律に適合させることは、それ自体に数百万ドルかかる可能性がある。 現代の大規模ワークフローでは、十分な情報量のパイロット実験を組み立てることはすでに、日常的な前処理のステップではなく、予算配分の問題である。 不均一なコストを伴う実行可能実験の有限プールを与えられた場合、高コストな対象領域における外挿精度を最大化するために、どれを実行するかを選択する。 そこで本研究では,目標領域外挿に最も有用なランに対して,実験予算を順次割り当てる不確実性認識手法を提案する。 多様なスケールロータスクのベンチマークにおいて、我々の手法は古典的な設計ベースラインを一貫して上回り、トレーニング予算全体の10%しか使用せず、完全な実験セットに適合する性能にアプローチすることが多い。 私たちのコードはhttps://github.com/PlanarG/active-sl.comで利用可能です。

関連論文リスト

• Amortizing Scaling Law Construction Costs [19.769099912679824]
  本稿では,ベイズ最適化問題としてデータ収集を定式化する,効率的なスケーリング法則構築のための枠組みを提案する。 計算予算を段階的に拡大し,実際の計算順序による構成評価を反映し,回復効率を大幅に向上させることが判明した。
  論文  参考訳（メタデータ） (2026-09-04T11:25:41Z)
• Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search [51.33002870475756]
  マルチフィデリティベイズ最適化に基づくコスト認識獲得関数である Power-Law Entropy Search (PLES) を導入する。 PLESは、単一の目的関数を最適化するのではなく、スケーリング法見積の全体的な不確実性を低減する候補を検索する。
  論文  参考訳（メタデータ） (2026-09-01T15:41:59Z)
• Predicting and improving test-time scaling laws via reward tail-guided search [11.49701649103495]
  テストタイムのスケーリングは、大規模言語モデルの推論能力を向上するための重要な道として現れました。 テール誘導探索によるスケーリング特性の予測と改善のための新しい手法を提案する。 本手法は,報酬のテール分布を推定することにより,総括評価を必要とせず,LLMのスケーリング法則を予測する。
  論文  参考訳（メタデータ） (2026-02-01T23:40:25Z)
• Knapsack RL: Unlocking Exploration of LLMs via Optimizing Budget Allocation [40.30643197563909]
  大規模言語モデル(LLM)は強化学習を通じて自己改善が可能で、より良いソリューションを探求し発見するための軌道を生成する。 この探索プロセスは計算コストが高く、しばしば現在の手法では各タスクに限られた探査予算を割り当てざるを得ない。 本稿では,モデルの現在の学習状況に基づいて資源を適応的に分配する最適割当てルールを提案する。
  論文  参考訳（メタデータ） (2025-09-30T06:41:57Z)
• Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks [100.13335639780415]
  スケーリング法則は、しばしばパワーローに従っており、より大きなスケールでのスケーリングの振る舞いを予測するために、パワーロー関数のいくつかの変種を提案した。 既存の手法は主に点推定に依存しており、現実のアプリケーションにとって欠かせない不確実性を定量化しない。 本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。
  論文  参考訳（メタデータ） (2025-05-29T03:19:17Z)
• Data Mixture Optimization: A Multi-fidelity Multi-scale Bayesian Framework [10.317740844867913]
  我々は,SlimPajamaデータセットから,さまざまなデータ構成を用いて,472言語モデルによる事前学習実行をベースとしたシミュレータを構築した。 単純な取得関数でさえ、20Mから1Bまでのトレーニングモデル間で、原則化されたトレーニング決定を可能にすることを観察する。
  論文  参考訳（メタデータ） (2025-03-26T22:19:47Z)
• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Uncertainty Herding: One Active Learning Method for All Label Budgets [16.173043939954137]
  様々な低予算・高予算の目的を一般化する目的である不確実性カバレッジを提案する。 本手法は低予算と高予算の両方で確実に有効であることを示す。
  論文  参考訳（メタデータ） (2024-12-30T01:33:42Z)
• Adaptive Experimentation When You Can't Experiment [55.86593195947978]
  本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。 オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
  論文  参考訳（メタデータ） (2024-06-15T20:54:48Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。