論文の概要: Riemannian Optimization in Modular Systems
- arxiv url: http://arxiv.org/abs/2603.03610v1
- Date: Wed, 04 Mar 2026 00:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-05 21:29:15.134741
- Title: Riemannian Optimization in Modular Systems
- Title（参考訳）: モジュラシステムにおけるリーマン最適化
- Authors: Christian Pehle, Jean-Jacques Slotine,
- Abstract要約: バックプロパゲーションアルゴリズムは、ニューラルネットワークの成功に有効である。
実証的な成功にもかかわらず、それに対する強い理論的理解は欠如している。
我々は、収束特性を定量化できる構成可能なリーマン加群の枠組みを開発する。
- 参考スコア（独自算出の注目度）: 0.006486143522483092
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding how systems built out of modular components can be jointly optimized is an important problem in biology, engineering, and machine learning. The backpropagation algorithm is one such solution and has been instrumental in the success of neural networks. Despite its empirical success, a strong theoretical understanding of it is lacking. Here, we combine tools from Riemannian geometry, optimal control theory, and theoretical physics to advance this understanding. We make three key contributions: First, we revisit the derivation of backpropagation as a constrained optimization problem and combine it with the insight that Riemannian gradient descent trajectories can be understood as the minimum of an action. Second, we introduce a recursively defined layerwise Riemannian metric that exploits the modular structure of neural networks and can be efficiently computed using the Woodbury matrix identity, avoiding the $O(n^3)$ cost of full metric inversion. Third, we develop a framework of composable ``Riemannian modules'' whose convergence properties can be quantified using nonlinear contraction theory, providing algorithmic stability guarantees of order $O(κ^2 L/(ξμ\sqrt{n}))$ where $κ$ and $L$ are Lipschitz constants, $μ$ is the mass matrix scale, and $ξ$ bounds the condition number. Our layerwise metric approach provides a practical alternative to natural gradient descent. While we focus here on studying neural networks, our approach more generally applies to the study of systems made of modules that are optimized over time, as it occurs in biology during both evolution and development.
- Abstract（参考訳）: モジュールコンポーネントで構築されたシステムを共同で最適化する方法を理解することは、生物学、工学、機械学習において重要な問題である。
バックプロパゲーションアルゴリズムはそのような解の一つであり、ニューラルネットワークの成功に役立っている。
実証的な成功にもかかわらず、それに対する強い理論的理解は欠如している。
ここでは、この理解を進めるためにリーマン幾何学、最適制御理論、理論物理学のツールを組み合わせる。
まず、バックプロパゲーションの導出を制約付き最適化問題として再考し、リーマン勾配降下軌道が作用の最小値として理解できるという知見と組み合わせる。
第二に、ニューラルネットワークのモジュラ構造を利用して再帰的に定義されたリーマン計量を導入し、Woodbury行列の恒等式を用いて効率よく計算できる。
第三に、非線形収縮理論を用いて収束特性を定量化でき、次数$O(κ^2 L/(\μ\sqrt{n}))$$ κ$ と $L$ がリプシッツ定数であり、$μ$ は質量行列スケールであり、$\sqrt{n})$ のアルゴリズム的安定性を保証するような構成可能な `'リーマン加群' のフレームワークを開発する。
我々のレイヤーワイド計量アプローチは、自然勾配降下の実践的な代替手段を提供する。
ここではニューラルネットワークの研究に焦点をあてるが、私たちのアプローチは、進化と開発の両方の生物学で発生するように、時間とともに最適化されるモジュールからなるシステムの研究に、より一般的に適用される。
関連論文リスト
- Constructive Lyapunov Functions via Topology-Preserving Neural Networks [0.0]
ONNは収束率、エッジ効率、計算複雑性の順序-最適性能を達成する。
3Mノードのセマンティックネットワークにおける実証的な検証は、ベースライン法よりも99.75%改善されている。
ORTSFをトランスに組み込むことで、14.7%のパープレキシティ低減と2.3の高速化を実現している。
論文 参考訳（メタデータ） (2025-10-10T17:46:52Z) - StelLA: Subspace Learning in Low-rank Adaptation using Stiefel Manifold [51.93627542334909]
低ランク適応(LoRA)は大規模事前訓練モデルのパラメータ効率向上手法として広く採用されている。
3要素分解$U!SVtop$を使用するLoRAの幾何学的拡張を提案する。
論文 参考訳（メタデータ） (2025-10-02T11:59:13Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - On a class of geodesically convex optimization problems solved via
Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。
最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文 参考訳（メタデータ） (2022-06-22T23:57:40Z) - PDE-Based Optimal Strategy for Unconstrained Online Learning [40.61498562988079]
部分微分方程式(PDE)を解くことによって時間変化ポテンシャル関数を生成するフレームワークを提案する。
我々のフレームワークは、いくつかの古典的なポテンシャルを回復し、より重要なことは、新しいものを設計するための体系的なアプローチを提供する。
これは最適なリード定数を持つ最初のパラメータフリーアルゴリズムである。
論文 参考訳（メタデータ） (2022-01-19T22:21:21Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - GT-STORM: Taming Sample, Communication, and Memory Complexities in
Decentralized Non-Convex Learning [11.129095449532283]
近年,分散1/2非堅牢性最適化が注目されている。
分散最適化アルゴリズムの設計における3つの基本的な課題は、サンプルコスト、通信、メモリ複雑さの削減である。
論文 参考訳（メタデータ） (2021-05-04T00:44:48Z) - Semi-discrete optimization through semi-discrete optimal transport: a
framework for neural architecture search [0.0]
最適輸送のアイデアを用いた半離散最適化のための理論的枠組みを提案する。
私たちの主なモチベーションは、ディープラーニングの分野、特にニューラルアーキテクチャ検索の分野です。
コンパニオンペーパーでは、我々のフレームワークにインスパイアされたアルゴリズムが同時期の手法と競合していることが示されている。
論文 参考訳（メタデータ） (2020-06-26T21:44:35Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳（メタデータ） (2020-06-07T15:35:47Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z) - Backward Feature Correction: How Deep Learning Performs Deep
(Hierarchical) Learning [66.05472746340142]
本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。
我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
論文 参考訳（メタデータ） (2020-01-13T17:28:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。