論文の概要: An Equivariance Toolbox for Learning Dynamics

• arxiv url: http://arxiv.org/abs/2512.21447v1
• Date: Wed, 24 Dec 2025 23:42:07 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 12:05:37.279738
• Title: An Equivariance Toolbox for Learning Dynamics
• Title（参考訳）: 動的学習のための等分散ツールボックス
• Authors: Yongyi Yang, Liu Ziyin,
• Abstract要約: 学習力学の1次制約と2次制約を結合した汎用等分散ツールボックスを開発した。 まず,保護法則と暗黙のバイアス関係を単一アイデンティティの特別な事例として統一する。 2階目では、曲率に関する構造予測を提供する。
• 参考スコア（独自算出の注目度）: 13.651450618432094
• License:
• Abstract: Many theoretical results in deep learning can be traced to symmetry or equivariance of neural networks under parameter transformations. However, existing analyses are typically problem-specific and focus on first-order consequences such as conservation laws, while the implications for second-order structure remain less understood. We develop a general equivariance toolbox that yields coupled first- and second-order constraints on learning dynamics. The framework extends classical Noether-type analyses in three directions: from gradient constraints to Hessian constraints, from symmetry to general equivariance, and from continuous to discrete transformations. At the first order, our framework unifies conservation laws and implicit-bias relations as special cases of a single identity. At the second order, it provides structural predictions about curvature: which directions are flat or sharp, how the gradient aligns with Hessian eigenspaces, and how the loss landscape geometry reflects the underlying transformation structure. We illustrate the framework through several applications, recovering known results while also deriving new characterizations that connect transformation structure to modern empirical observations about optimization geometry.
• Abstract（参考訳）: 深層学習における多くの理論的結果は、パラメータ変換の下でのニューラルネットワークの対称性や等価性に遡ることができる。 しかし、既存の分析は一般に問題に特有であり、保存法則のような一階帰結に焦点が当てられているが、二階構造への含意はいまだに理解されていない。 学習力学の1次制約と2次制約を結合した汎用等分散ツールボックスを開発した。 このフレームワークは古典的ネーター型解析を、勾配の制約からヘッセンの制約、対称性から一般の等式、連続から離散変換の3方向に拡張する。 まず,保護法則と暗黙のバイアス関係を単一アイデンティティの特別な事例として統一する。 2階目では、曲率に関する構造的予測が提供され、どの方向が平坦であるか、あるいはシャープであるか、勾配がヘッセン固有空間とどのように一致しているか、ロスランドスケープ幾何学が下層の変換構造をどのように反映しているか、などである。 フレームワークをいくつかのアプリケーションを通して説明し、既知の結果を復元するとともに、変換構造と最適化幾何学に関する現代の経験的観察を結びつける新しい特徴を導出する。

関連論文リスト

• The Neural Differential Manifold: An Architecture with Explicit Geometric Structure [8.201374511929538]
  本稿では,その基本設計に幾何学的構造を明示的に組み込んだニューラルネットワークアーキテクチャであるニューラル微分マニフォールド(NDM)を紹介する。 我々は、より効率的な最適化の可能性、継続学習の強化、科学的発見と制御可能な生成モデルへの応用など、このアプローチの理論的利点を分析する。
  論文  参考訳（メタデータ） (2025-10-29T02:24:27Z)
• Understanding Post-Training Structural Changes in Large Language Models [3.054513120350576]
  後学習は大規模言語モデル(LLM)の振る舞いを根本的に変える 本研究は,指導チューニングと長鎖蒸留(Long-CoT)の2つの広く採用されているポストトレーニング手法に焦点をあてる。
  論文  参考訳（メタデータ） (2025-09-22T15:03:36Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Constrained belief updates explain geometric structures in transformer representations [1.1666234644810893]
  我々は、最適予測のモデル非依存理論と機械論的解釈可能性を統合し、隠れマルコフモデルのトラクタブルファミリーで訓練されたトランスフォーマーを解析する。 分析では,単一層トランスに着目し,最初のアテンション層がどのように制約付き更新を実装しているかを明らかにする。 これらの表現のアルゴリズム的挙動と基礎となる幾何学の両方が理論的にどのように予測できるかを示す。
  論文  参考訳（メタデータ） (2025-02-04T03:03:54Z)
• STITCH: Surface reconstrucTion using Implicit neural representations with Topology Constraints and persistent Homology [23.70495314317551]
  スパースおよび不規則に間隔を置いた点雲のニューラル暗黙表面再構成のための新しいアプローチSTITCHを提案する。 連続ホモロジーに基づく新しい微分可能なフレームワークを開発し、トポロジ的損失項を定式化し、1つの2次元多様体オブジェクトの先行を強制する。
  論文  参考訳（メタデータ） (2024-12-24T22:55:35Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• A Theory of Topological Derivatives for Inverse Rendering of Geometry [87.49881303178061]
  我々は、位相微分を用いて離散的な位相変化を可能にする微分可能な曲面進化の理論的枠組みを導入する。 2次元の閉曲線と3次元の曲面を最適化して提案理論を検証し、現在の手法の限界について考察する。
  論文  参考訳（メタデータ） (2023-08-19T00:55:55Z)
• Understanding Graph Neural Networks with Generalized Geometric Scattering Transforms [67.88675386638043]
  散乱変換は、畳み込みニューラルネットワークのモデルとして機能する多層ウェーブレットベースのディープラーニングアーキテクチャである。 非対称ウェーブレットの非常に一般的なクラスに基づくグラフに対して、窓付きおよび非窓付き幾何散乱変換を導入する。 これらの非対称グラフ散乱変換は、対称グラフ散乱変換と多くの理論的保証を持つことを示す。
  論文  参考訳（メタデータ） (2019-11-14T17:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。