論文の概要: Bayesian Neural Scaling Law Extrapolation with Prior-Fitted Networks

• arxiv url: http://arxiv.org/abs/2505.23032v2
• Date: Wed, 11 Jun 2025 07:11:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.695057
• Title: Bayesian Neural Scaling Law Extrapolation with Prior-Fitted Networks
• Title（参考訳）: プレフィットネットワークを用いたベイズ型ニューラルスケーリング法外挿法
• Authors: Dongwoo Lee, Dong Bok Lee, Steven Adriaensen, Juho Lee, Sung Ju Hwang, Frank Hutter, Seon Joo Kim, Hae Beom Lee,
• Abstract要約: スケーリング法則は、しばしばパワーローに従っており、より大きなスケールでのスケーリングの振る舞いを予測するために、パワーロー関数のいくつかの変種を提案した。 既存の手法は主に点推定に依存しており、現実のアプリケーションにとって欠かせない不確実性を定量化しない。 本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。
• 参考スコア（独自算出の注目度）: 100.13335639780415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling has been a major driver of recent advancements in deep learning. Numerous empirical studies have found that scaling laws often follow the power-law and proposed several variants of power-law functions to predict the scaling behavior at larger scales. However, existing methods mostly rely on point estimation and do not quantify uncertainty, which is crucial for real-world applications involving decision-making problems such as determining the expected performance improvements achievable by investing additional computational resources. In this work, we explore a Bayesian framework based on Prior-data Fitted Networks (PFNs) for neural scaling law extrapolation. Specifically, we design a prior distribution that enables the sampling of infinitely many synthetic functions resembling real-world neural scaling laws, allowing our PFN to meta-learn the extrapolation. We validate the effectiveness of our approach on real-world neural scaling laws, comparing it against both the existing point estimation methods and Bayesian approaches. Our method demonstrates superior performance, particularly in data-limited scenarios such as Bayesian active learning, underscoring its potential for reliable, uncertainty-aware extrapolation in practical applications.
• Abstract（参考訳）: スケーリングは、近年のディープラーニングの進歩の主要な要因である。 多くの実証的研究により、スケーリング法則はしばしばパワー・ローに従い、より大きなスケールでのスケーリングの挙動を予測するためにいくつかのパワー・ロー関数を提案した。 しかし、既存の手法は、主に点推定に頼り、不確実性を定量化しない。これは、追加の計算資源に投資することで達成可能な性能改善を判断するなど、意思決定問題に関わる現実世界のアプリケーションにとって重要な問題である。 本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。 具体的には、実世界のニューラルスケーリング法則に似た無限に多くの合成関数のサンプリングを可能にする事前分布を設計し、PFNが外挿をメタ学習できるようにする。 提案手法の有効性を実世界のニューラルスケーリング法で検証し,既存の点推定法とベイズ的手法との比較を行った。 本手法は,特にベイジアン能動学習のようなデータ限定のシナリオにおいて,信頼性の高い不確実性を考慮した外挿法の可能性を示す。

関連論文リスト

• Post-Hoc Uncertainty Quantification in Pre-Trained Neural Networks via Activation-Level Gaussian Processes [0.15705429611931052]
  本稿では,ガウス過程活性化関数(GAPA)を導入し,ニューロンレベルの不確実性を捉える。 我々のアプローチは、トレーニング済みニューラルネットワークの本来の平均予測を保ちながら、ポストホックな方法で動作します。
  論文  参考訳（メタデータ） (2025-02-28T11:29:06Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Learning Active Subspaces for Effective and Scalable Uncertainty Quantification in Deep Neural Networks [13.388835540131508]
  本稿では,ニューラルネットワークパラメータの低次元部分空間を構築するための新しい手法を提案する。 その結果, 有効かつスケーラブルなベイズ推定が可能であることを実証した。 提案手法は, 各種回帰タスクに対して, 頑健な不確実性推定を伴う信頼性予測を提供する。
  論文  参考訳（メタデータ） (2023-09-06T15:00:36Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
  本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。 RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
  論文  参考訳（メタデータ） (2023-02-28T13:17:56Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Efficient Bayes Inference in Neural Networks through Adaptive Importance Sampling [19.518237361775533]
  BNNでは、トレーニング段階で、未知の重みとバイアスパラメータの完全な後部分布が生成される。 この機能は、数え切れないほどの機械学習アプリケーションに役立ちます。 医療医療や自動運転など、意思決定に重大な影響を及ぼす分野において特に魅力的である。
  論文  参考訳（メタデータ） (2022-10-03T14:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。