論文の概要: Topological derivative approach for deep neural network architecture adaptation

• arxiv url: http://arxiv.org/abs/2502.06885v1
• Date: Sat, 08 Feb 2025 23:01:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:32.994525
• Title: Topological derivative approach for deep neural network architecture adaptation
• Title（参考訳）: ディープニューラルネットワークアーキテクチャ適応のためのトポロジカルデリバティブアプローチ
• Authors: C G Krishnanunni, Tan Bui-Thanh, Clint Dawson,
• Abstract要約: この研究は、深度に沿ってニューラルネットワークアーキテクチャを段階的に適応させる新しいアルゴリズムを提案する。 本稿では, 形状関数の最適条件が, 深部神経アーキテクチャ適応の固有値問題につながることを示す。 提案手法は,新しい層を挿入する必要がある深さに最も敏感な位置を決定する。
• 参考スコア（独自算出の注目度）: 0.6144680854063939
• License:
• Abstract: This work presents a novel algorithm for progressively adapting neural network architecture along the depth. In particular, we attempt to address the following questions in a mathematically principled way: i) Where to add a new capacity (layer) during the training process? ii) How to initialize the new capacity? At the heart of our approach are two key ingredients: i) the introduction of a ``shape functional" to be minimized, which depends on neural network topology, and ii) the introduction of a topological derivative of the shape functional with respect to the neural network topology. Using an optimal control viewpoint, we show that the network topological derivative exists under certain conditions, and its closed-form expression is derived. In particular, we explore, for the first time, the connection between the topological derivative from a topology optimization framework with the Hamiltonian from optimal control theory. Further, we show that the optimality condition for the shape functional leads to an eigenvalue problem for deep neural architecture adaptation. Our approach thus determines the most sensitive location along the depth where a new layer needs to be inserted during the training phase and the associated parametric initialization for the newly added layer. We also demonstrate that our layer insertion strategy can be derived from an optimal transport viewpoint as a solution to maximizing a topological derivative in $p$-Wasserstein space, where $p>= 1$. Numerical investigations with fully connected network, convolutional neural network, and vision transformer on various regression and classification problems demonstrate that our proposed approach can outperform an ad-hoc baseline network and other architecture adaptation strategies. Further, we also demonstrate other applications of topological derivative in fields such as transfer learning.
• Abstract（参考訳）: この研究は、深度に沿ってニューラルネットワークアーキテクチャを段階的に適応させる新しいアルゴリズムを提案する。 特に、以下の質問を数学的に原則化された方法で解決しようと試みる。 一 修業中に新たな能力(層)を増設する方法 二 新しい容量を初期化する方法 私たちのアプローチの中心には2つの重要な要素があります。 一 ニューラルネットワークトポロジに依存して最小化すべき「形の機能」の導入 二 ニューラルネットワークトポロジに関して機能する形状のトポロジカルデリバティブの導入 最適制御視点を用いて,ネットワークトポロジカル微分が一定の条件下で存在することを示し,その閉形式表現を導出する。 特に、位相最適化フレームワークからの位相微分と最適制御理論からのハミルトニアンとの接続を初めて検討する。 さらに, 形状汎関数の最適条件が, 深部神経アーキテクチャ適応の固有値問題につながることを示す。 そこで本手法では, トレーニングフェーズ中に新しい層を挿入する必要がある深度に最も敏感な位置と, 新たに付加した層に対するパラメトリック初期化について検討する。 また、この層挿入戦略は、$p>=1$の位相微分を最大化するための解として、最適な輸送視点から導出できることを示した。 完全連結ネットワーク,畳み込みニューラルネットワーク,視覚変換器による様々な回帰と分類問題に対する数値解析により,提案手法がアドホックベースラインネットワークや他のアーキテクチャ適応戦略より優れていることを示す。 さらに、移動学習などの分野におけるトポロジカルデリバティブの他の応用についても示す。

関連論文リスト

• Topology Optimization using Neural Networks with Conditioning Field Initialization for Improved Efficiency [2.575019247624295]
  我々は、未最適化領域の事前初期フィールドを使用することで、ニューラルネットワークに基づくトポロジ最適化の効率をさらに向上できることを示す。 我々は、最適化を通じてニューラルネットワークに入力される追加条件付けフィールドとして、初期設計領域で計算されたひずみエネルギー場を用いる。
  論文  参考訳（メタデータ） (2023-05-17T07:42:24Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
  この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。 第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。 本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-13T09:51:16Z)
• Approximation Power of Deep Neural Networks: an explanatory mathematical survey [0.0]
  この調査では、ニューラルネットワークがターゲット関数をいかに効果的に近似するかを調べ、従来の近似法より優れている条件を特定する。 主なトピックは、ディープネットワークの非線形で構成的な構造と、回帰と分類設定における最適化問題としてのニューラルネットワークタスクの形式化である。 このサーベイは、深いReLUネットワークの近似能力と他の近似手法の近似能力を比較することで、連続関数空間におけるニューラルネットワークの密度を探索する。
  論文  参考訳（メタデータ） (2022-07-19T18:47:44Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。