論文の概要: Loss Landscape Geometry and the Learning of Symmetries: Or, What Influence Functions Reveal About Robust Generalization

• arxiv url: http://arxiv.org/abs/2601.20172v1
• Date: Wed, 28 Jan 2026 02:14:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.728232
• Title: Loss Landscape Geometry and the Learning of Symmetries: Or, What Influence Functions Reveal About Robust Generalization
• Title（参考訳）: 景観幾何学の喪失と対称性の学習--あるいはロバストな一般化に対する関数の影響
• Authors: James Amarel, Robyn Miller, Nicolas Hengartner, Benjamin Migliori, Emily Casleton, Alexei Skurikhin, Earl Lawrence, Gerd J. Kunde,
• Abstract要約: 神経エミュレータは、影響に基づく診断を導入することにより、物理的対称性を内部化する。 この量は、学習された損失ランドスケープの局所幾何学を探索する。 我々は、軌道ワイド勾配コヒーレンスが対称性変換を一般化する学習のメカニズムを提供することを示した。
• 参考スコア（独自算出の注目度）: 0.14201057456467273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how neural emulators of partial differential equation solution operators internalize physical symmetries by introducing an influence-based diagnostic that measures the propagation of parameter updates between symmetry-related states, defined as the metric-weighted overlap of loss gradients evaluated along group orbits. This quantity probes the local geometry of the learned loss landscape and goes beyond forward-pass equivariance tests by directly assessing whether learning dynamics couple physically equivalent configurations. Applying our diagnostic to autoregressive fluid flow emulators, we show that orbit-wise gradient coherence provides the mechanism for learning to generalize over symmetry transformations and indicates when training selects a symmetry compatible basin. The result is a novel technique for evaluating if surrogate models have internalized symmetry properties of the known solution operator.
• Abstract（参考訳）: 偏微分方程式方程式演算子のニューラルエミュレータは、群軌道に沿って評価された損失勾配の計量重み付け重なりとして定義される対称性関連状態間のパラメータ更新の伝搬を測定する影響ベースの診断を導入することにより、物理対称性を内部化する方法について検討する。 この量は、学習された損失ランドスケープの局所的幾何学を探索し、学習力学が物理的に等価な構成と一致するかどうかを直接評価することによって、前方通過等分散試験を超える。 自己回帰流体流エミュレータへの診断の適用により、軌道ワイド勾配コヒーレンスが対称性変換を一般化するための学習機構を提供し、トレーニングが対称性互換盆地を選択する場合を示す。 この結果は、サロゲートモデルが既知の解作用素の内部対称性を持つかどうかを評価するための新しい手法である。

関連論文リスト

• Implicit bias as a Gauge correction: Theory and Inverse Design [2.9379512315137117]
  機械学習理論の中心的な問題は、学習力学が学習目標と互換性のある特定のソリューションをどのように選択するかを特徴づけることである。 我々は、暗黙のバイアスの出現に対する学習力学の明示的な修正という観点から、一般的なメカニズムを同定する。 我々は、様々な力学の帰納バイアスを計算し、いくつかのよく知られた結果が単一の統一されたフレームワークにどのように適合するかを示した。
  論文  参考訳（メタデータ） (2026-01-10T15:33:09Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• SymmetryLens: Unsupervised Symmetry Learning via Locality and Density Preservation [0.0]
  我々は、生データから始まる新しい教師なし対称性学習法を開発し、基礎となるLie群を最小限に生成する。 この方法は、近似翻訳対称性のみを用いてデータセットから画素変換演算子を学習することができる。 この対称性と局所性との結合が,エントロピー推定のために開発された最適化手法と相まって,安定したシステムを実現することを実証する。
  論文  参考訳（メタデータ） (2024-10-07T17:40:51Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
  本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。 我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。 実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-11-07T19:07:16Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Symmetry Induces Structure and Constraint of Learning [0.0]
  機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。 ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。 ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
  論文  参考訳（メタデータ） (2023-09-29T02:21:31Z)
• On discrete symmetries of robotics systems: A group-theoretic and data-driven analysis [38.92081817503126]
  力学系の離散的形態対称性について検討する。 これらの対称性は、系の形態学における1つ以上の平面/対称性の軸の存在から生じる。 我々はこれらの対称性をデータ拡張と$G$-equivariant Neural Networkを用いて活用する。
  論文  参考訳（メタデータ） (2023-02-21T04:10:16Z)
• Oracle-Preserving Latent Flows [58.720142291102135]
  我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。 対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。 この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
  論文  参考訳（メタデータ） (2023-02-02T00:13:32Z)
• Symmetry Breaking in Symmetric Tensor Decomposition [44.181747424363245]
  我々は、対称テンソルの点階分解を計算する非対称問題を考える。 損失関数の臨界点が標準手法によって検出されることを示す。
  論文  参考訳（メタデータ） (2021-03-10T18:11:22Z)
• Inverse Learning of Symmetries [71.62109774068064]
  2つの潜在部分空間からなるモデルで対称性変換を学ぶ。 我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。 我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-02-07T13:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。