論文の概要: Unit-Consistent (UC) Adjoint for GSD and Backprop in Deep Learning Applications

• arxiv url: http://arxiv.org/abs/2601.10873v1
• Date: Thu, 15 Jan 2026 21:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.297682
• Title: Unit-Consistent (UC) Adjoint for GSD and Backprop in Deep Learning Applications
• Title（参考訳）: 深層学習におけるGSDとバックプロップのための単位整合(UC)アジョイント
• Authors: Jeffrey Uhlmann,
• Abstract要約: 後方随伴/最適化幾何学のレベルで不変条件を定式化する。 ユークリッドレベルのレシピを置き換えることで、単位整合ゲージ降下とバックプロゲーションを導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks constructed from linear maps and positively homogeneous nonlinearities (e.g., ReLU) possess a fundamental gauge symmetry: the network function is invariant to node-wise diagonal rescalings. However, standard gradient descent is not equivariant to this symmetry, causing optimization trajectories to depend heavily on arbitrary parameterizations. Prior work has proposed rescaling-invariant optimization schemes for positively homogeneous networks (e.g., path-based or path-space updates). Our contribution is complementary: we formulate the invariance requirement at the level of the backward adjoint/optimization geometry, which provides a simple, operator-level recipe that can be applied uniformly across network components and optimizer state. By replacing the Euclidean transpose with a Unit-Consistent (UC) adjoint, we derive UC gauge-consistent steepest descent and backprogation.
• Abstract（参考訳）: 線形写像と正に同質な非線形性(例えばReLU)から構築されたディープニューラルネットワークは基本ゲージ対称性を持ち、ネットワーク関数はノード右対角再スケーリングに不変である。 しかし、標準勾配降下はこの対称性と等しくなく、最適化軌道は任意のパラメータ化に大きく依存する。 以前の研究では、正に同質なネットワーク(パスベース、パススペース更新など)に対する再スケーリング不変の最適化スキームが提案されている。 ネットワークコンポーネントとオプティマイザ状態に一様に適用可能な,シンプルな演算子レベルのレシピを提供する。 ユークリッド変換を単位整合随伴 (UC) に置き換えることにより、UCゲージ一貫性の急降下と逆伝播を導出する。

関連論文リスト

• Equivariant Neural Networks for General Linear Symmetries on Lie Algebras [25.10734775893243]
  還元性リーニューロン(Reducetive Lie Neurons, ReLNs)は、一般線形対称性と全く同じ種類の新しいニューラルネットワークアーキテクチャである。 ReLNは、一般的なn-by-n行列を含む幅広い構造化された入力を直接操作する。 タスクの範囲でReLNの汎用性を検証する。
  論文  参考訳（メタデータ） (2025-10-27T04:08:39Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Optimization Dynamics of Equivariant and Augmented Neural Networks [2.7918308693131135]
  対称データに基づくニューラルネットワークの最適化について検討する。 アーキテクチャを制約する戦略を、データ拡張を使用する戦略と同等に扱う戦略と比較する。 後者の状況においても, 定常点が拡張トレーニングにおいて不安定であることは明らかだが, 明らかな同変モデルに対しては安定である。
  論文  参考訳（メタデータ） (2023-03-23T17:26:12Z)
• Simplifying Momentum-based Positive-definite Submanifold Optimization with Applications to Deep Learning [24.97120654216651]
  部分多様体上の運動量を持つ難しい微分方程式の解法を示す。 我々はリーマン正規座標の一般化版を提案する。 我々は,行列乗算のみを用いることで,構造化共分散の既存手法を単純化し,低精度のディープラーニングのための行列非逆2textnd$ordersを開発する。
  論文  参考訳（メタデータ） (2023-02-20T03:31:11Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
  勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。 正方形損失はその最適値に指数関数的に収束することを示す。 我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
  論文  参考訳（メタデータ） (2021-05-13T15:13:51Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。