論文の概要: Scalar Smoothness Is One Point on a Besov Spectrum

• arxiv url: http://arxiv.org/abs/2611.02037v1
• Date: Sun, 01 Nov 2026 16:32:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-12 06:40:14.144544
• Title: Scalar Smoothness Is One Point on a Besov Spectrum
• Title（参考訳）: スカラスムーズさはBesovスペクトルの1点
• Abstract要約: 摂動スケールのモデル応答をプロファイルする有限差粗さスペクトルを導入する。 画像分類において、粗さ源制御(Roughness Source Control, RC)はノイズ方向の粗さを抑制する。 学習後量子化では,各ブロックの量子化誤差の大きさや方向と一致する摂動からタスクロスの増加を測定することで,より高い精度を必要とするブロックを同定する。
• 参考スコア（独自算出の注目度）: 15.148604401543347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Studies of neural network generalization and robustness often summarize smoothness with a single number, such as a Lipschitz constant or a Hessian curvature statistic. However, Lipschitz constants summarize global worst-case sensitivity and Hessian statistics summarize local curvature; neither captures how model responses vary with the size, direction, and location of perturbations encountered in real-world deployment. To measure smoothness under these perturbations, we introduce a finite-difference roughness spectrum that profiles model responses across these conditions. Our roughness spectrum generalizes scalar smoothness measures, bringing Lipschitz sensitivity and directional Hessian curvature into a common framework across perturbation scales. We connect this spectrum to classical Besov theory, which describes how a function's variation changes with scale. Our theoretical analysis also proves that a larger output shift can cause less task damage than a smaller one, and that local curvature alone can miss the blocks most vulnerable to finite perturbations. In image classification, Roughness Source Control (RSC) suppresses margin roughness along noise directions and improves noise robustness in a comparison of 80 checkpoints across four model--dataset combinations. In post-training quantization, we identify blocks that need higher precision by measuring task-loss increases from perturbations matched to the size and direction of each block's quantization error. Our mixed-precision allocation achieves lower perplexity than the Hessian-based HAWQ-V2 baseline under the same GPTQ weights and bit budgets in all 14 settings across seven held-out large language models.
• Abstract（参考訳）: ニューラルネットワークの一般化とロバスト性の研究は、リプシッツ定数やヘッセン曲率統計のような単一の数で滑らかさを要約することが多い。 しかし、リプシッツ定数は世界最悪のケース感度を要約し、ヘッセン統計は局所曲率を要約している。 これらの摂動下での滑らかさを測定するため、これらの条件でモデル応答をプロファイルする有限差粗さスペクトルを導入する。 我々の粗さスペクトルはスカラー滑らか度測定を一般化し、リプシッツ感度と方向ヘッセン曲率を摂動スケールで共通の枠組みに導く。 このスペクトルを古典的ベソフ理論と結び付け、関数の変動がスケールとともにどのように変化するかを記述する。 我々の理論的解析は、より大きな出力シフトは、小さいものよりもタスクの損傷が少なく、局所曲率だけでは、有限摂動に最も弱いブロックを見逃すことも証明している。 画像分類において、Roughness Source Control (RSC)は、4つのモデル-データセットの組み合わせで80個のチェックポイントを比較することにより、ノイズ方向のマージン粗さを抑制し、ノイズロバスト性を向上させる。 学習後量子化では,各ブロックの量子化誤差の大きさや方向と一致する摂動からタスクロスの増加を測定することで,より高い精度を必要とするブロックを同定する。 我々の混合精度割当は、ヘッセン語ベースのHAWQ-V2ベースラインよりも、GPTQ重みとビット予算で低いパープレキシティを実現する。

関連論文リスト

• A Large-Dimensional Analysis of Least-Squares Federated Learning via Generalized Total Variation Minimization [48.763194210360275]
  分散化されたネットワーク上でのフェデレーション学習は、本質的には局所的な有限サンプルノイズの抑制と引き換えにしている。 最小二乗モデルを用いた一般化トータル変分最小化の大次元解析を行うことにより、この張力について検討する。
  論文  参考訳（メタデータ） (2026-10-14T12:13:14Z)
• Scale Sensitivity in Low-Bit Post-Training Quantization: Curvature of the Quantization Error Landscape [15.425095447368962]
  GPTQファミリーにおけるポストトレーニング量子化(PTQ)法は、スケールを選択しなければならない一様格子上の層次再構成誤差を最小限に抑える。 この目的がスケールに対してどれほど敏感か研究する。 ガウス重みと十分に大きな有効ランクのキャリブレーションアクティベートを持つ層に対して、幅が大きくなるにつれて正規化された円-熱損失は高い確率で収束することを示す。
  論文  参考訳（メタデータ） (2026-09-29T12:46:41Z)
• Tail-Weight Control and Localized Generalization in Nearly Low-Rank Adversarial Classification [8.110061989547228]
  実験的なランプ取り付けは、人口が最適に無視しても純粋ノイズの特徴に重みを割り当てることができる。 このギャップをガウス信号と雑音によるノルム制約付き逆数分類の定量化を行う。
  論文  参考訳（メタデータ） (2026-09-20T15:00:02Z)
• Scale-invariant Gaussian derivative residual networks [4.554894288663752]
  画像スケールを越えた一般化は、ディープネットワークにとって依然として根本的な課題である。 証明可能なスケール不変ガウス微分剰余ネットワーク(GaussDerResNets)を提案する。 GaussDerResNetsは、再スケールしたデータセット上で、強力なスケールの一般化とスケールの選択特性を持つことを示す。
  論文  参考訳（メタデータ） (2026-03-03T10:39:41Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Compute-Optimal LLMs Provably Generalize Better With Scale [102.29926217670926]
  我々は,大規模言語モデル(LLM)の事前学習目標に基づく一般化境界を開発する。 損失関数の分散を考慮し, 既存の境界を緩める, 完全経験的フリードマン型マルティンゲール濃度を導入する。 我々は一般化ギャップのスケーリング法則を作成し、その境界はスケールによって予測的に強くなる。
  論文  参考訳（メタデータ） (2025-04-21T16:26:56Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Label Noise SGD Provably Prefers Flat Global Minimizers [48.883469271546076]
  過度パラメータ化モデルでは、勾配降下(SGD)のノイズは最適化軌道を暗黙的に規則化し、どの局所最小SGDが収束するかを決定する。 ラベルノイズを持つSGDが正規化損失$L(theta) +lambda R(theta)$の定常点に収束することを示す。 解析の結果,線形スケーリング法則を超越した大規模学習率の正規化効果が明らかとなった。
  論文  参考訳（メタデータ） (2021-06-11T17:59:07Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。