論文の概要: Conservation Laws from Data Symmetry in Neural Networks

• arxiv url: http://arxiv.org/abs/2606.10913v1
• Date: Tue, 09 Jun 2026 14:23:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.547955
• Title: Conservation Laws from Data Symmetry in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるデータ対称性からの保全法則
• Authors: Jakob Galley, Vahid Shahverdi, Axel Flinth,
• Abstract要約: ニューラルネットワークの勾配流訓練において、トレーニングデータの対称性が保存量につながるかどうかを考察する。 一方、平均二乗誤差(MSE)損失に対しては、データ拡張が余分に保存された量をもたらす状況がある。
• 参考スコア（独自算出の注目度）: 1.7842332554022695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore whether intrinsic symmetries of the training data lead to conserved quantities during gradient-flow training of neural networks. Under the assumption that the loss function is analytic and non-polynomial, we prove that data symmetries generically do not induce any additional integrals of motion. For mean squared error (MSE) loss, on the other hand, there are situations in which data augmentation yields extra conserved quantities. We build a framework, utilizing \emph{tensorizable networks} to describe this phenomenon. Tensorizable networks are a family of architectures whose dependence on parameters and inputs can be separated using an intermediate representation. They include linear and polynomial networks, as well as Lightning Attention.
• Abstract（参考訳）: ニューラルネットワークの勾配流訓練において, 学習データの内在対称性が保存量に繋がるか否かを考察する。 損失関数が解析的かつ非ポリノミカルであるという仮定の下で、データ対称性が運動の余分な積分を誘導しないことを示す。 一方、平均二乗誤差(MSE)損失に対しては、データ拡張が余分に保存された量をもたらす状況がある。 我々は,この現象を説明するために 'emph{tensorizable network} を利用するフレームワークを構築した。 テンソリザブルネットワークは、中間表現を用いてパラメータと入力への依存を分離できるアーキテクチャのファミリーである。 線形ネットワークや多項式ネットワーク、Lightning Attentionなどがある。

関連論文リスト

• Learning Broken Symmetries with Approximate Invariance [1.0485739694839669]
  多くの場合、正確な基礎となる対称性は理想化されたデータセットにのみ存在し、実際のデータに分解される。 データ拡張や同変ネットワークのような標準的なアプローチは、完全な、壊れた対称性の性質を表現できない。 本稿では,制約のないネットワークの一般性と性能と,制約のないネットワークの高速学習のバランスをとる学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-12-25T04:29:04Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
  本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。 我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。 実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-11-07T19:07:16Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Geometric Graph Filters and Neural Networks: Limit Properties and Discriminability Trade-offs [122.06927400759021]
  本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。 これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-29T08:27:17Z)
• Slope and generalization properties of neural networks [0.0]
  十分に訓練されたニューラルネットワーク分類器の勾配分布は、一般に、完全に接続されたネットワークの層幅から独立していることを示す。 傾斜は、関連する体積を通して類似した大きさであり、滑らかに変化する。また、再スケーリングの例でも予測されるように振る舞う。 本稿では、損失関数の一部として利用したり、ネットワークトレーニング中に基準を終了させたり、複雑度の観点からデータセットをランク付けしたりといった、斜面概念の応用の可能性について論じる。
  論文  参考訳（メタデータ） (2021-07-03T17:54:27Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• 'Place-cell' emergence and learning of invariant data with restricted Boltzmann machines: breaking and dynamical restoration of continuous symmetries in the weight space [0.0]
  本稿では,表現学習のためのニューラルネットワークパラダイムである拘束ボルツマンマシン(RBM)の学習力学について検討する。 ネットワーク重みのランダムな構成から学習が進むにつれて、対称性を破る現象の存在が示される。 この対称性を破る現象は、トレーニングに利用できるデータの量がいくつかの臨界値を超える場合にのみ起こる。
  論文  参考訳（メタデータ） (2019-12-30T14:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。