論文の概要: Neural Networks with Orthogonal Jacobian

• arxiv url: http://arxiv.org/abs/2508.02882v1
• Date: Mon, 04 Aug 2025 20:24:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.673629
• Title: Neural Networks with Orthogonal Jacobian
• Title（参考訳）: 直交ジャコビアンを用いたニューラルネットワーク
• Authors: Alex Massucco, Davide Murari, Carola-Bibiane Schönlieb,
• Abstract要約: 非常に深いニューラルネットワークは、リッチで階層的な特徴を抽出することで最先端のパフォーマンスを達成する。 バックプロパゲーションによるトレーニングは、しばしば消滅または爆発的な勾配によって妨げられる。 非線形フィードフォワードおよび残差ネットワークの幅広いクラスを記述する統一的な数学的枠組みを導入する。
• 参考スコア（独自算出の注目度）: 10.111901389604423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Very deep neural networks achieve state-of-the-art performance by extracting rich, hierarchical features. Yet, training them via backpropagation is often hindered by vanishing or exploding gradients. Existing remedies, such as orthogonal or variance-preserving initialisation and residual architectures, allow for a more stable gradient propagation and the training of deeper models. In this work, we introduce a unified mathematical framework that describes a broad class of nonlinear feedforward and residual networks, whose input-to-output Jacobian matrices are exactly orthogonal almost everywhere. Such a constraint forces the resulting networks to achieve perfect dynamical isometry and train efficiently despite being very deep. Our formulation not only recovers standard architectures as particular cases but also yields new designs that match the trainability of residual networks without relying on conventional skip connections. We provide experimental evidence that perfect Jacobian orthogonality at initialisation is sufficient to stabilise training and achieve competitive performance. We compare this strategy to networks regularised to maintain the Jacobian orthogonality and obtain comparable results. We further extend our analysis to a class of networks well-approximated by those with orthogonal Jacobians and introduce networks with Jacobians representing partial isometries. These generalized models are then showed to maintain the favourable trainability properties.
• Abstract（参考訳）: 非常に深いニューラルネットワークは、リッチで階層的な特徴を抽出することで最先端のパフォーマンスを達成する。 しかし、バックプロパゲーションによるトレーニングは、しばしば、勾配の消滅または爆発によって妨げられる。 直交的あるいは分散保存的初期化や残留アーキテクチャといった既存の改善は、より安定した勾配伝播とより深いモデルの訓練を可能にする。 本研究では,入力から出力までのヤコビ行列がほぼ至る所で直交する非線形フィードフォワードおよび残差ネットワークの幅広いクラスを記述する統一数学的枠組みを導入する。 このような制約は、結果のネットワークに完全な動的等尺性を達成するよう強制し、非常に深いにもかかわらず効率的に訓練する。 我々の定式化は、標準アーキテクチャを特定のケースで復元するだけでなく、従来のスキップ接続に頼ることなく、残留ネットワークのトレーニング可能性に適合する新しい設計をもたらす。 初期化時の完全なヤコビ直交性は、トレーニングを安定化し、競争性能を達成するのに十分であることを示す実験的な証拠を提供する。 我々は、この戦略をジャコビアン直交を維持するために正規化されたネットワークと比較し、同等の結果を得る。 我々はさらに、直交ヤコビアンによってよく近似されたネットワークのクラスに解析を拡張し、部分等距離を表すヤコビアンを持つネットワークを導入する。 これらの一般化されたモデルは、好適な訓練性を維持することが示される。

関連論文リスト

• GrokAlign: Geometric Characterisation and Acceleration of Grokking [14.286905882211896]
  ネットワークのヤコビアンをトレーニングデータと整合させることによって、低ランクのヤコビアン仮定の下でグルーキングが保証されることを示す。 この結果は、深いネットワークの最適化にヤコビ正規化を用いるための強力な理論的動機を与える。 我々はジャコビアンアライメントのトラクタブルかつ解釈可能な簡易化としてセントロイドアライメントを導入する。
  論文  参考訳（メタデータ） (2025-06-14T00:16:11Z)
• Hierarchical Feature-level Reverse Propagation for Post-Training Neural Networks [24.442592456755698]
  エンド・ツー・エンドの自動運転は支配的なパラダイムとして現れてきたが、その高度に絡み合ったブラックボックスモデルは、解釈可能性と安全性の保証の観点から課題を提起している。 本稿では,事前学習ニューラルネットワークに適した階層的かつ非結合なポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T15:19:03Z)
• Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
  リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
  論文  参考訳（メタデータ） (2025-02-23T10:11:38Z)
• Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
  本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。 その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
  論文  参考訳（メタデータ） (2023-11-24T18:46:54Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Deep Networks from the Principle of Rate Reduction [32.87280757001462]
  この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。 学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。 この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
  論文  参考訳（メタデータ） (2020-10-27T06:01:43Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。