論文の概要: Symmetries and Singularities

• arxiv url: http://arxiv.org/abs/2609.14663v1
• Date: Sun, 13 Sep 2026 17:01:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 12:40:38.835971
• Title: Symmetries and Singularities
• Title（参考訳）: 対称性と特異性
• Abstract要約: 与えられた解に近いモデルの有効性を特徴付ける局所学習係数(LLC)について検討する。 LLCを推定する既存の方法は、しばしば後続サンプリングに依存しており、大きなニューラルネットワークでは計算コストがかかる。 本研究では,解析を簡略化し,LLC推定をより容易にするために,モデル内の既知の構造を用いる。
• 参考スコア（独自算出の注目度）: 4.119847434567505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are highly over-parameterized, and different parameter values represent the same predictive function. This makes their effective complexity difficult to measure using only the number of parameters or the rank of the Hessian. Singular Learning Theory addresses this issue through the local learning coefficient (LLC), which characterizes the effective complexity of a model near a given solution. Existing methods for estimating the LLC often rely on posterior sampling, which can be computationally expensive for large neural networks. This makes accurate LLC estimation difficult at scale. In this work, we use known structures in the model to simplify the analysis and make LLC estimation more tractable. Specifically, we study the LLC of a graph attention model by exploiting symmetries in both the graph structure and the attention parameters. An analytic framework through a teacher--student setting, and explicit LLC estimates after considering the symmetry--induced degeneracies are developed.
• Abstract（参考訳）: ディープニューラルネットワークは非常に過パラメータ化されており、異なるパラメータ値は同じ予測関数を表す。 これにより、パラメータの数やヘッセン階数だけを用いて測定することが難しくなる。 特異学習理論(Singular Learning Theory)は、局所学習係数(LLC)を通じてこの問題に対処する。 LLCを推定する既存の方法は、しばしば後続サンプリングに依存しており、大きなニューラルネットワークでは計算コストがかかる。 これにより、スケールにおいて正確なLLC推定が困難になる。 本研究では,解析を簡略化し,LLC推定をより容易にするために,モデル内の既知の構造を用いる。 具体的には,グラフ構造とアテンションパラメータの両方の対称性を利用して,グラフアテンションモデルのLLCについて検討する。 教師-学生設定による分析枠組みと対称性による退化を考慮した明示的なLLC推定法を開発した。

関連論文リスト

• Efficient Covariance Estimation for Sparsified Functional Data [51.69796254617083]
  共分散関数のランダムノット(ランダムノット-空間)とB-スプライン(Bspline-Spatial)推定器は計算的に効率的である。 共分散の漸近的なポイントワイドは、ある規則性条件下でのスパース化された個々の軌跡に対して得られる。
  論文  参考訳（メタデータ） (2025-11-23T00:50:33Z)
• Statistically guided deep learning [10.619901778151336]
  非パラメトリック回帰のための理論的に確立されたディープラーニングアルゴリズムを提案する。 本研究では、最適化、一般化、近似を同時に考慮したディープラーニングの理論解析により、新たなディープラーニング推定結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-04-11T12:36:06Z)
• Random Sparse Lifts: Construction, Analysis and Convergence of finite sparse networks [17.487761710665968]
  本稿では,パラメータの数が増えると,勾配流による学習が任意に低損失に達するような,ニューラルネットワークの大規模クラスを定義する枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-10T12:52:00Z)
• Estimating the Local Learning Coefficient at Scale [0.0]
  テキスト局所学習係数(英: textitlocal learning coefficient, LLC)は、モデル複雑性を定量化する原理的な方法である。 我々は,最大100Mパラメータの深部線形ネットワーク(DLN)に対して,LLCを正確に,かつ自己整合的に測定する方法を実証的に示す。
  論文  参考訳（メタデータ） (2024-02-06T04:37:09Z)
• Estimating Koopman operators with sketching to provably learn large scale dynamical systems [37.18243295790146]
  クープマン作用素の理論は、複雑な力学系を予測・解析するために非パラメトリック機械学習アルゴリズムを展開できる。 ランダムプロジェクションを用いた異なるカーネルベースのクープマン作用素推定器の効率を向上する。 統計的学習率と計算効率のトレードオフを鋭く評価する非誤り境界を確立する。
  論文  参考訳（メタデータ） (2023-06-07T15:30:03Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Semi-Parametric Inducing Point Networks and Neural Processes [15.948270454686197]
  半パラメトリック誘導点ネットワーク(SPIN)は、推論時間におけるトレーニングセットを計算効率よくクエリすることができる。 SPINは、ポイントメソッドにインスパイアされたデータポイント間のクロスアテンションメカニズムを通じて、線形複雑性を実現する。 実験では,SPINはメモリ要件を低減し,様々なメタラーニングタスクの精度を向上し,重要な実用的問題である遺伝子型計算における最先端性能を向上させる。
  論文  参考訳（メタデータ） (2022-05-24T01:42:46Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Fast covariance parameter estimation of spatial Gaussian process models using neural networks [0.0]
  我々はnnを入力として適度な大きさの空間場または変量線を取り、範囲と信号間の共分散パラメータを返すように訓練する。 トレーニングが完了すると、nnsはml推定と同等の精度で見積もりを提供し、100倍以上のスピードアップを行う。 この作業は、他のより複雑な空間問題に容易に拡張することができ、計算統計における機械学習の使用に対する概念の証明を提供する。
  論文  参考訳（メタデータ） (2020-12-30T22:06:26Z)
• Stochastic Approximation for Online Tensorial Independent Component Analysis [98.34292831923335]
  独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。 本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T18:52:37Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。