論文の概要: $σ$Transfer: Uncertainty Transfer from Small to Large Networks under $μ\mathrm{P}$

• arxiv url: http://arxiv.org/abs/2610.11668v1
• Date: Thu, 08 Oct 2026 10:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.961962
• Title: $σ$Transfer: Uncertainty Transfer from Small to Large Networks under $μ\mathrm{P}$
• Title（参考訳）: $σ$Transfer:$μ\mathrm{P}$以下の小さなネットワークから大規模ネットワークへの不確実性転送
• Abstract要約: ラプラス近似において信頼性の高い予測不確実性を選択する新しい方法を示す。 我々は、前者のカーネルの収束、後続の共分散、選択精度、および後続の意思決定を示す。 同じ後部安定性は、取得の転送、OOD検出、および棄権決定を可能にする。
• 参考スコア（独自算出の注目度）: 61.96648353048054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable predictive uncertainty in Laplace approximations depends critically on the prior precision, yet selecting it requires a posterior sweep that is prohibitively expensive for neural networks with billions of parameters. Under the Maximal Update Parametrization ($μ\mathrm{P}$), we derive a rescaling of the prior covariance that makes the selected precision stable as model width grows. This leads to $σ\mathrm{Transfer}$: we select the precision on a smaller model and zero-shot transfer it to the much larger model, i.e., without searching for the precision on the larger model at all. We show convergence of the prior kernel, posterior covariance, selected precision, and posterior-derived decisions under explicit conditions, and verify $σ\mathrm{Transfer}$ across regression, image classification, and Transformer readouts. For example, measured precision-sweep speedups reach $\sim 5000\times$ when transferring from width 128 to 4096 on MNIST, at a target-NLL degradation of $0.002$; transferring from a public 1B to 7B model gives a median search speedup of $\sim 2.3\times$ (up to $\sim 330\times$), with a mean measured target-NLL increase below $10^{-4}$ across ten tasks. The same posterior stability also enables transfer of acquisition, OOD-detection, and abstention decisions without constructing a target posterior.
• Abstract（参考訳）: Laplace近似の信頼性の高い予測の不確実性は、事前の精度に大きく依存するが、数十億のパラメータを持つニューラルネットワークには、極めて高価な後部スイープが必要である。 最大更新パラメトリゼーション(μ\mathrm{P}$)の下では、モデル幅が大きくなるにつれて選択された精度が安定になるような先行共分散の再スケーリングを導出する。 これにより$σ\mathrm{Transfer}$: より小さなモデルの精度を選択し、より大きなモデルにゼロショットで転送する。 本稿では,前者のカーネルの収束,後部共分散,選択精度,後部独立決定を明示条件下で示すとともに,回帰,画像分類,トランスフォーマーの読み出しに対して$σ\mathrm{Transfer}$を検証する。 例えば、MNISTで128から4096の幅で1Bから7Bモデルに切り替えると、測定精度とスイープのスピードアップが$\sim 5000\times$に達し、ターゲットNLLが0.002$に低下すると、検索速度アップが$\sim 2.3\times$(最大$\sim 330\times$)となり、平均目標NLLが10タスクにわたって10^{-4}より大きくなる。 同じ後部安定性は、目標後部を構築することなく、取得、OOD検出、棄権決定の転送を可能にする。

関連論文リスト

• STAMP: Predicting Out-of-Distribution Generalization without Target Data [1.2891210250935148]
  STAMPはソースのみの、ターゲットラベルなしの基準であり、ペアのソースドメイン画像からアウト・オブ・ディストリビューション性能を推定する。 CNN、ViT、MetaFormers、基礎モデル、SSL/VLMプローブにまたがる44の胸部X線モデルにおいて、時間STAMPはスピアマン相関を0.844$-0.855$で達成した。
  論文  参考訳（メタデータ） (2026-09-26T14:28:06Z)
• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
  混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。 本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。 本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
  論文  参考訳（メタデータ） (2026-07-14T02:08:33Z)
• Data Predictability Shapes Weibull Weight-Scale Growth in Transformer Training [0.0]
  学習条件付き法則を定める前に計算した学習自由統計法則が得られた。 トレーニングの前に$D$が計算されるので、この法則はフォワード予測器である。 クロスコーパス予測 オーバー予測コード、冗長性はより広い$(D,R,A,H)$データ・ツー・ウェイト・フレームワークの第2軸を意味する。
  論文  参考訳（メタデータ） (2026-06-27T12:26:39Z)
• Q-LocalAdam: Memory-Efficient Client-Side Adaptive Optimization for Edge Federated Learning [1.4610038284393168]
  エッジデバイス上でのフェデレーション学習は、IID以外のクライアントデータと厳しいメモリ予算に対処する必要がある。 分散を意識した8ビット量子化ブロックワイド線形符号化と分散のためのログ空間符号化を応用したtextbfQ-LocalAdam を提案する。
  論文  参考訳（メタデータ） (2026-05-17T17:23:23Z)
• Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
  確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。 我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。 我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T02:46:15Z)
• Coarse Graining with Neural Operators for Simulating Chaotic Systems [78.64101336150419]
  カオスシステムの長期的挙動を予測することは、気候モデリングなどの様々な応用に不可欠である。 このような完全解法シミュレーションに対する別のアプローチは、粗いグリッドを使用して、時間テキストモデルによってエラーを修正することである。 この制限を克服する物理インフォームド・ニューラル演算子(PINO)を用いたエンド・ツー・エンドの学習手法を提案する。
  論文  参考訳（メタデータ） (2024-08-09T17:05:45Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Generalized moduli of continuity under irregular or random deformations via multiscale analysis [0.0]
  多分解近似空間の信号に対して、$U_s$ at scale $s$, $L2$ in the regime $|tau|_Linfty/sll 1$。 不安定性は、|tau|_Linfty/sgg 1$ のときに起こり、成長速度に対して鋭い上限を与える。
  論文  参考訳（メタデータ） (2021-04-24T16:16:30Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。