論文の概要: Symmetry in Neural Network Parameter Spaces

• arxiv url: http://arxiv.org/abs/2506.13018v1
• Date: Mon, 16 Jun 2025 00:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.291906
• Title: Symmetry in Neural Network Parameter Spaces
• Title（参考訳）: ニューラルネットワークパラメータ空間における対称性
• Authors: Bo Zhao, Robin Walters, Rose Yu,
• Abstract要約: 冗長性のかなりの部分はパラメータ空間の対称性によって説明される。 これらの対称性は損失ランドスケープと制約学習のダイナミクスを形成し、最適化、一般化、モデルの複雑さを理解するための新しいレンズを提供する。 既存の文献を要約し、対称性と学習理論の関連を明らかにするとともに、この新興分野におけるギャップと機会を特定する。
• 参考スコア（独自算出の注目度）: 32.732734207891745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep learning models are highly overparameterized, resulting in large sets of parameter configurations that yield the same outputs. A significant portion of this redundancy is explained by symmetries in the parameter space--transformations that leave the network function unchanged. These symmetries shape the loss landscape and constrain learning dynamics, offering a new lens for understanding optimization, generalization, and model complexity that complements existing theory of deep learning. This survey provides an overview of parameter space symmetry. We summarize existing literature, uncover connections between symmetry and learning theory, and identify gaps and opportunities in this emerging field.
• Abstract（参考訳）: 現代のディープラーニングモデルは非常に過度にパラメータ化されており、結果としてパラメータ構成の集合が同じ出力を生成する。 この冗長性のかなりの部分はパラメータ空間の対称性によって説明される。 これらの対称性は、損失ランドスケープと制約学習のダイナミクスを形成し、既存のディープラーニング理論を補完する最適化、一般化、モデルの複雑さを理解するための新しいレンズを提供する。 このサーベイはパラメータ空間対称性の概要を提供する。 既存の文献を要約し、対称性と学習理論の関連を明らかにするとともに、この新興分野におけるギャップと機会を特定する。

関連論文リスト

• Sensitivity Meets Sparsity: The Impact of Extremely Sparse Parameter Patterns on Theory-of-Mind of Large Language Models [55.46269953415811]
  ToM感受性パラメータを同定し、これらのパラメータの0.001%の摂動がToM性能を著しく低下させることを示す。 我々の結果は、モデルアライメントの強化、バイアス軽減、ヒューマンインタラクション用に設計されたAIシステムの改善に影響を及ぼす。
  論文  参考訳（メタデータ） (2025-04-05T17:45:42Z)
• Optimal Equivariant Architectures from the Symmetries of Matrix-Element Likelihoods [0.0]
  マトリックス要素法(MEM)は長年、高エネルギー物理学におけるデータ解析の基盤となっている。 幾何学的なディープラーニングは、既知の対称性を直接設計に組み込むニューラルネットワークアーキテクチャを可能にした。 本稿では、MEMにインスパイアされた対称性と、粒子物理解析のための同変ニューラルネットワーク設計を組み合わせた新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-24T08:56:37Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Oracle-Preserving Latent Flows [58.720142291102135]
  我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。 対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。 この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
  論文  参考訳（メタデータ） (2023-02-02T00:13:32Z)
• A Geometric Modeling of Occam's Razor in Deep Learning [8.007631014276896]
  ディープニューラルネットワーク(DNN)は、非常に高次元のパラメータ空間の恩恵を受ける。 彼らの巨大なパラメータの複雑さと実践上の素晴らしいパフォーマンスは、より興味深く、説明できないものです。 本稿では,この現象を研究するための幾何学的フレーバー付き情報理論手法を提案する。
  論文  参考訳（メタデータ） (2019-05-27T07:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。