論文の概要: Ambiguous Fits: The Rashomon Effect and Challenges in Scaling Law Estimation

• arxiv url: http://arxiv.org/abs/2610.34514v1
• Date: Sun, 25 Oct 2026 19:16:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.627508
• Title: Ambiguous Fits: The Rashomon Effect and Challenges in Scaling Law Estimation
• Title（参考訳）: 曖昧さ:ラショモン効果と法則推定の課題
• Abstract要約: 我々は、標準的なスケーリング法則がアオモン効果にマップされていることを示す(Breiman, 2001)。 我々は、標準的なスケーリング法則がアオモン効果にマップされていることを示す(Breiman, 2001)。
• 参考スコア（独自算出の注目度）: 14.4954497488293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating neural scaling laws involves an end-to-end pipeline: designing a scaling recipe, training models across scales, evaluating models on a target metric, and deploying an algorithm to fit a scaling law to the resulting data. This final fitting stage is often treated as routine: standard procedures minimize a non-convex fitting loss using local optimization from a grid of initializations, and return the best solution found. Yet such heuristic searches can fail in two distinct ways: they offer no guarantee of returning a nearly optimal solution, and they obscure whether fundamentally different parameter choices fit the data nearly as well. Indeed, we show that standard scaling law fitting is subject to a Rashomon effect (Breiman, 2001): the sublevel sets of near-minimizers correspond to broad parameter regions whose extrapolations diverge substantially at scale. We resolve these issues with a deterministic branch-and-bound algorithm that guarantees nearly optimal fitting loss and exhaustively maps the near-minimizers to the implied range of scaling curves.
• Abstract（参考訳）: スケーリングのレシピを設計し、スケールにわたってモデルをトレーニングし、ターゲットメトリックのモデルを評価し、スケーリングの法則を結果データに適合させるアルゴリズムをデプロイする。 この最終適合段階はしばしばルーチンとして扱われる: 標準手順は初期化の格子から局所最適化を用いて非凸適合損失を最小化し、得られる最良の解を返す。 しかし、このようなヒューリスティックな探索は、2つの異なる方法で失敗する可能性がある。 実際、標準スケーリング法適合は、ラショモン効果(Breiman, 2001)を受けており、近傍最小化器のサブレベル集合は、スケールにおいて外挿が実質的に分散する広いパラメータ領域に対応する。 これらの問題を、ほぼ最適のフィッティング損失を保証する決定論的分岐結合アルゴリズムを用いて解決し、近似最小化器を暗黙のスケーリング曲線の範囲に網羅的にマッピングする。

関連論文リスト

• Towards Robust Scaling Laws for Optimizers [89.21160945066737]
  経験的スケーリング法則は、モデルのサイズやトレーニングデータの増加に伴って損失を予測するために広く使用されている。 本研究では, 損失分解を既約, 近似, 最適化誤差に分解した結果, チンチラ方式のスケーリング法則が自然に現れることを示す。
  論文  参考訳（メタデータ） (2026-02-07T21:40:33Z)
• Bilevel Learning via Inexact Stochastic Gradient Descent [5.312803257246881]
  バイレベル最適化は、高次元ハイパーチューニングのための機械学習の中心的なツールである。 両レベル最適化の不正確な理論を推し進める。 我々は収束を証明し、減衰精度とステップサイズスケジュールでレートを確立する。
  論文  参考訳（メタデータ） (2025-11-10T07:02:52Z)
• Zeroth-Order Optimization Finds Flat Minima [51.41529512093436]
  標準二点推定器によるゼロ階最適化は、ヘッセンの小さなトレースを持つ解を好むことを示す。 さらに、凸関数と十分に滑らかな関数に対する近似平坦なミニマに対して、ゼロ階最適化の収束率を提供する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:09Z)
• Deep Minimax Classifiers for Imbalanced Datasets with a Small Number of Minority Samples [5.217870815854702]
  本稿では,最低性能クラスのリスクを最小限に抑えるために,新しいミニマックス学習アルゴリズムを提案する。 提案アルゴリズムは証明可能な収束特性を有しており,提案アルゴリズムは既存手法に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-02-24T08:20:02Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• FLOPS: Forward Learning with OPtimal Sampling [1.694989793927645]
  勾配に基づく計算手法は、最近、クエリとも呼ばれる前方通過のみによる学習に焦点が当てられている。 従来の前方学習はモンテカルロサンプリングによる正確な勾配推定のために各データポイントで膨大なクエリを消費する。 本稿では,評価精度と計算効率のバランスを良くするために,訓練中の各データに対して最適なクエリ数を割り当てることを提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:16:12Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Adaptive Experimentation at Scale: A Computational Framework for Flexible Batches [7.390918770007728]
  結果がバッチで測定される少数の実測を含む実例によって動機付けられ,適応駆動型実験フレームワークを開発した。 我々の主な観察は、統計的推論において普遍的な正規近似は適応アルゴリズムの設計を導くことができることである。
  論文  参考訳（メタデータ） (2023-03-21T04:17:03Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。