論文の概要: SLDBench v2: Active Scaling Law Discovery

• arxiv url: http://arxiv.org/abs/2610.16297v2
• Date: Sat, 17 Oct 2026 12:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.273482
• Title: SLDBench v2: Active Scaling Law Discovery
• Title（参考訳）: SLDBench v2: Active Scaling Law Discovery
• Abstract要約: SLDBenchは、すべての実験結果が事前に与えられるとき、言語モデルエージェントがスケーリング法則を発見できるかどうかをテストする。 コーパスを8から127のシナリオに拡張し,言語モデル事前学習,下流性能,視覚言語移行を実現した。 エージェントは、どの実験を実行するかを選択し、記録されたコストを支払い、結果が届くにつれてその法を改正する。
• 参考スコア（独自算出の注目度）: 15.722623174647898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling laws predict large-model performance from small experiments, but finding a reliable law itself requires costly experiments. SLDBench tests whether language-model agents can discover scaling laws when all experimental results are given upfront. We introduce SLDBench v2 with two extensions. First, we expand the corpus from 8 to 127 scenarios spanning language-model pretraining, downstream performance, and vision-language transfer, and select 30 challenging scenarios on which a reference power-law fit reaches $R^2 \le 0.8$; they represent at least $1.09 \times 10^{23}$ FLOPs of source-reported training compute. Second, we introduce active scaling law discovery: an agent chooses which experiments to run, pays each one's recorded cost (e.g., training FLOPs), and revises its law as outcomes arrive, and is scored on the same hidden extrapolation targets as in the passive setting. Across 8 frontier agent systems, median $R^2$ drops from 0.72-0.75 (passive) to 0.24-0.57 (active), and prediction error rises 1.5-4.7 times, depending on the system. Agents favor cheap experiments, spending 8-44% of the full-pool cost on average; low-cost acquisition can yield strong predictions, but cheap purchases also leave experimental conditions needed for extrapolation unobserved. Experimental planning thus remains a key open challenge for agents that assist model development in the prevailing AI-for-AI study. Project page: https://lingbei-meng.github.io/SLDBench-v2/.
• Abstract（参考訳）: スケーリング法則は、小さな実験から大規模なモデルの性能を予測するが、信頼性のある法則そのものを見つけるには、高価な実験が必要である。 SLDBenchは、すべての実験結果が事前に与えられるとき、言語モデルエージェントがスケーリング法則を発見できるかどうかをテストする。 2つの拡張を持つSLDBench v2を導入する。 まず、コーパスを言語モデル事前学習、ダウンストリーム性能、ビジョン言語移行にまたがる8から127のシナリオに拡張し、参照パワーローが適合する30の挑戦シナリオを選択します。 第2に、アクティブなスケーリング法発見を導入する: エージェントは、どの実験を実行するかを選択し、記録されたコスト(例えば、FLOPsのトレーニング)を支払い、結果が到着するとその法則を改訂し、受動的設定と同じ隠れ外挿目標で得点する。 8つのフロンティアエージェントシステムで、中央値のR^2$は0.72-0.75(パッシブ)から0.24-0.57(アクティブ)に低下し、予測誤差はシステムによって1.5-4.7倍に上昇する。 エージェントは安価な実験を好み、フルプールのコストの8-44%を平均で消費する。 このように実験計画は、AI-for-AI研究において、モデル開発を支援するエージェントにとって重要な課題である。 プロジェクトページ: https://lingbei-meng.github.io/SLDBench-v2/

関連論文リスト

• Evidential Rule Learning for Interpretable Classification with Abstention [3.0509197593879853]
  Fast Evidential Rule Learning (FERL)は、アウトプットが明確である解釈可能な、正確なファジィルールモデルを学ぶ。 FERLの信念、妥当性、および棄権能力は、単一の決定論的パスにおけるファジィなメンバーシップから直接生じる。
  論文  参考訳（メタデータ） (2026-08-06T10:39:48Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect [0.0]
  本研究は,小言語モデルが内的アクティベーションを検出・報告できるかどうかを考察する。 まず,先行研究で使用される二項検出パラダイムが,質問内容に関係なく肯定的応答に偏りを示すため,小さなモデルで構築されていることを示す。 次に、モデル自身の摂動前進パスから構築した文局在化例を教師付き微調整するEmphIntrospection Fine-Tuning(IFT)を導入する。
  論文  参考訳（メタデータ） (2026-05-08T05:30:26Z)
• AgentAssay: Token-Efficient Regression Testing for Non-Deterministic AI Agent Workflows [0.0]
  AgentAssayは、非決定論的AIエージェントを回帰テストするための最初のトークン効率のよいフレームワークである。 厳密な統計保証を維持しながら78-100%のコスト削減を実現している。
  論文  参考訳（メタデータ） (2026-03-03T04:59:25Z)
• Relative Scaling Laws for LLMs [91.73497548097775]
  スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。 相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。 これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
  論文  参考訳（メタデータ） (2025-10-28T16:55:22Z)
• Predictable Scale: Part II, Farseer: A Refined Scaling Law in Large Language Models [62.3458061002951]
  本稿では,新たなスケール法であるFarseerを紹介した。 モデル損失曲面 $L(N,D)$ を体系的に構築することにより、Farseer は以前の法則よりも経験的データに非常によく適合する。 我々の手法は正確で頑健で、非常に一般化可能な予測をもたらし、優れた外挿能力を示す。
  論文  参考訳（メタデータ） (2025-06-12T17:59:23Z)
• Bayesian scaling laws for in-context learning [85.34114399339741]
  In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。 我々は、ICCがベイズ学習者に近似していることを示し、ICCの新しいベイズスケーリング法を生み出した。 我々のスケーリング法則は既存のスケーリング法則と精度で一致し、タスクの優先順位、学習効率、サンプルごとの確率の解釈可能な用語も提供します。
  論文  参考訳（メタデータ） (2024-10-21T21:45:22Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。