論文の概要: Rank and computation of the pathlifting Jacobian of a DAG ReLU network

• arxiv url: http://arxiv.org/abs/2609.18682v1
• Date: Wed, 16 Sep 2026 13:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.82917
• Title: Rank and computation of the pathlifting Jacobian of a DAG ReLU network
• Title（参考訳）: DAG ReLUネットワークにおけるパスリフトジャコビアンのランクと計算
• Abstract要約: 本稿では,DAG ReLUネットワークにおける経路リフトヤコビアンランクの自己完結型証明について,ネットワークの隠れノード数に対する帰納化を行う。 この証明は、パスリフト、ヤコビアン、ネットワークパラメータ、骨格行列を結びつける中間命題に依存する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides a self-contained proof of the rank of the pathlifting Jacobian of a DAG ReLU network by performing an induction on the network's number of hidden nodes. In fact, the induction is elementary, and the key recipe is to consider the skeleton matrix of the network, a sparse matrix encoding the network paths, and transform the representation of one of its hidden neurons into an output node. The proof relies on intermediate propositions which link the pathlifting, its Jacobian, the network parameters, and its skeleton matrix, which, on top of permitting to conclude on the rank of the pathlifting Jacobian, also provide a way to compute it without backpropagation and whose computation cost is super efficient in practice compare to usual backpropagation. The paper is provided with a Python module that implements the different propositions of the paper for feed forward networks and is used to experimentally quantifies the computational gain of computing the pathlifting Jacobian with the proposed theory.
• Abstract（参考訳）: 本稿では,DAG ReLUネットワークにおける経路リフトヤコビアンランクの自己完結型証明について,ネットワークの隠れノード数に対する帰納化を行う。 実際、誘導は初等的であり、鍵となるレシピはネットワークの骨格行列、ネットワークパスをコードするスパース行列を考慮し、隠れたニューロンの表現を出力ノードに変換することである。 この証明は、パスリフト、そのヤコビアン、ネットワークパラメータ、およびその骨格行列をリンクする中間命題に依存し、パスリフトするヤコビアンのランクに結論付けることを許すとともに、バックプロパゲーションなしで計算する方法を提供し、実際は通常のバックプロパゲーションと比較して計算コストが非常に効率的である。 本論文は,フォワードネットワークのための論文の異なる命題を実装したPythonモジュールを備え,提案した理論を用いて,ヤコビアンを演算する際の計算利得を実験的に定量化する。

関連論文リスト

• Find A Winning Sign: Sign Is All We Need to Win the Lottery [52.63674911541416]
  既存のIP手法によって訓練されたスパースネットワークは,パラメータ記号と正規化層パラメータが保存されている場合,アトラクションの基盤を保持することができることを示す。 本手法により訓練されたスパースネットワークと正規化層パラメータとの線形経路における高い誤差障壁を防止し, 正規化層パラメータへの依存を緩和する。
  論文  参考訳（メタデータ） (2025-04-07T09:30:38Z)
• Credit Assignment for Trained Neural Networks Based on Koopman Operator Theory [3.130109807128472]
  ニューラルネットワークのクレジット割り当て問題は、最終的な出力に対する各ネットワークコンポーネントのクレジットを評価することを指す。 本稿では,ニューラルネットワークの信頼割当問題に対する線形力学の代替的視点について述べる。 典型的なニューラルネットワークを用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-02T06:34:27Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Coordinate descent on the orthogonal group for recurrent neural network training [9.886326127330337]
  提案アルゴリズムは, 繰り返し行列の2つの列を回転させ, 与えられた行列による乗算として効率的に実装できる演算であることを示す。 提案アルゴリズムの有効性を示すために, ベンチマーク繰り返しニューラルネットワークトレーニング問題の実験を行った。
  論文  参考訳（メタデータ） (2021-07-30T19:27:11Z)
• Deep Archimedean Copulas [98.96141706464425]
  ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。 我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
  論文  参考訳（メタデータ） (2020-12-05T22:58:37Z)
• Spectral Algorithms for Community Detection in Directed Networks [46.91424250933143]
  有向ネットワークに対するD-SCOREアルゴリズムを導入し、クラスタリング前に隣接行列の特異ベクトルの要素ワイド比をとることにより、この効果を低減した。 統計的引用ネットワークにおいて有意な結果が得られたが、その性能に関する厳密な分析は欠如していた。 本稿では,有向次数補正ブロックモデルに対して,このアルゴリズムとその変種に対する理論的保証を確立する。
  論文  参考訳（メタデータ） (2020-08-09T21:43:32Z)
• Boosting Connectivity in Retinal Vessel Segmentation via a Recursive Semantics-Guided Network [23.936946593048987]
  U字型ネットワークはセマンティクス誘導モジュールを導入して拡張され、拡張されたセマンティクス情報を浅い層に統合し、ネットワークがより強力な機能を探索できるようにする。 慎重に設計されたセマンティクス誘導ネットワークは、いくつかの公開データセットで広く評価されている。
  論文  参考訳（メタデータ） (2020-04-24T09:18:04Z)
• Tractable Approximate Gaussian Inference for Bayesian Neural Networks [1.933681537640272]
  本稿では,ベイズニューラルネットワークにおける抽出可能な近似ガウス推定(TAGI)を実現するための解析手法を提案する。 この手法はパラメータ数$n$に対して$mathcalO(n)$の計算複雑性を持ち、回帰および分類ベンチマークで実施されたテストは、同じネットワークアーキテクチャにおいて、勾配のバックプロパゲーションに依存する既存のメソッドのパフォーマンスと一致することを確認している。
  論文  参考訳（メタデータ） (2020-04-20T13:37:08Z)
• Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations [143.3053365553897]
  本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。 忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。 我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
  論文  参考訳（メタデータ） (2020-03-05T23:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。