論文の概要: Exploiting weight-space symmetries for approximating curvature

• arxiv url: http://arxiv.org/abs/2606.00442v1
• Date: Sat, 30 May 2026 00:17:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.458226
• Title: Exploiting weight-space symmetries for approximating curvature
• Title（参考訳）: 近似曲率に対する爆発的重量空間対称性
• Abstract要約: 本研究では,最新のディープネットワークの規模で損失関数の曲率を近似するフレームワークを開発する。 我々のフレームワークは、不確実性推定、連続学習、圧縮/プルーニングなど、他の機械学習問題にも応用できるかもしれない。
• 参考スコア（独自算出の注目度）: 39.60881703969561
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many machine learning techniques rely on approximating a loss function's curvature, but this is notoriously hard to do at the scale of modern deep networks. Surprisingly, no previous work has exploited the curvature constraints that arise from well known weight-space symmetries in loss landscapes. By analytically averaging over group actions that leave the loss invariant, we construct structured Hessian approximations from single gradients that can be tractably estimated, stored, and inverted. The choice of user-specified symmetry group directly governs the trade-off between approximation accuracy and computational cost. Moreover, our framework provides a unifying theoretical lens for viewing existing methods; in particular, a specific choice of symmetry group recovers Shampoo/Muon-like curvature estimates. We validate our method on a range of network architectures, and deploy it to second-order optimization benchmarks, including a small language model. Our curvature estimation framework might find applications in other machine learning problems such as uncertainty estimation, continual learning, compression/pruning, training data attribution, and more.
• Abstract（参考訳）: 多くの機械学習技術は損失関数の曲率の近似に頼っているが、これは現代のディープネットワークの規模では難しいことで知られている。 驚くべきことに、これまでの研究では、ロスランドスケープにおけるよく知られた重量空間対称性から生じる曲率の制約を利用していない。 損失不変性を残した群作用を解析的に平均化することにより、1つの勾配から構造的ヘッセン近似を構築し、この近似は引き抜きに推定、保存、反転することができる。 ユーザ特定対称性群の選択は、近似精度と計算コストのトレードオフを直接支配する。 さらに,本フレームワークは,既存の手法を見るための統一理論レンズを提供する。特に,対称性群の特定の選択はシャンプー/ムーン様曲率推定を復元する。 提案手法を様々なネットワークアーキテクチャ上で検証し,小型言語モデルを含む2次最適化ベンチマークに展開する。 我々の曲率推定フレームワークは、不確実性推定、連続学習、圧縮/プルーニング、データ属性のトレーニングなど、他の機械学習問題にも応用できるかもしれない。

関連論文リスト

• Semi-Dense Matching Uncertainty Is Not Just Local Confidence [0.0]
  本稿では,学習可能なパラメータが9つしかない2成分ラプラス混合モデルを導入する,軽量でポストホックな全体不確実性推定フレームワークを提案する。 目的は、シャープな局所的な精細化ノイズと、粗い割り当て障害の広い尾の両方を明示的に捕捉することである。 提案手法は,計算オーバーヘッドが最小限に抑えられた種々の事前学習済みのマッチング器とロバストな推定器の下流の幾何精度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-09T13:01:20Z)
• Fitting Unknown Number of Hyperplanes with Manifold Optimization [57.48093263119306]
  未知数の線形平面をデータに適合させることは、機械学習の根本的な課題である。 既存のアプローチはしばしば最適な最適化に苦しむか、幾何的整合性に欠ける。
  論文  参考訳（メタデータ） (2026-05-27T14:02:20Z)
• Model Merging on Loss Landscape: A Geometry Perspective [2.2624434825206543]
  エピマー(英: EpiMer)は、リーマン多様体上のフレシェ平均を解くためにモデルが合併するフレームワークである。 我々の理論的解析は、マージ誤差を部分空間フレシェ分散と残留エネルギーに分解する。 8つのイメージ分類タスクで微調整されたCLIP-ViTモデルを組み合わせることで、Epistemic Mergingは、マッチしたランクで3つのCLIP-ViTバックボーンのベースラインを厳密に上回る。
  論文  参考訳（メタデータ） (2026-05-26T08:33:30Z)
• Practical Global and Local Bounds in Gaussian Process Regression via Chaining [4.500208956289746]
  本稿では,予期しないデータに対する期待値の上限値と下限値を推定するための連鎖に基づくフレームワークを提案する。 また,特定入力における局所不確実性定量化手法を開発した。
  論文  参考訳（メタデータ） (2025-11-12T09:30:01Z)
• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• Nonlinear discretizations and Newton's method: characterizing stationary points of regression objectives [0.0]
  正確な曲率情報に依存すると、ニューラルネットワークのトレーニングが確実に失敗することを示す。 障害モードは、非線形離散化の幾何学と損失ランドスケープにおける定常点の分布の両方について洞察を与える。
  論文  参考訳（メタデータ） (2025-10-13T22:29:52Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。