論文の概要: The Hessian perspective into the Nature of Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2305.09088v1
• Date: Tue, 16 May 2023 01:15:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 16:43:14.633909
• Title: The Hessian perspective into the Nature of Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークの自然へのヘッセン的視点
• Authors: Sidak Pal Singh, Thomas Hofmann, Bernhard Sch\"olkopf
• Abstract要約: 我々は,CNNのToeplitz表現に依存したフレームワークを開発し,それを用いてヘッセン構造,特にそのランクを明らかにする。 全体として、我々の研究は、CNNにおいてもパラメータ数の平方根としてヘッセン階数が増加するという重要な洞察を一般化し確立している。
• 参考スコア（独自算出の注目度）: 32.7270996241955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Convolutional Neural Networks (CNNs) have long been investigated and applied, as well as theorized, we aim to provide a slightly different perspective into their nature -- through the perspective of their Hessian maps. The reason is that the loss Hessian captures the pairwise interaction of parameters and therefore forms a natural ground to probe how the architectural aspects of CNN get manifested in its structure and properties. We develop a framework relying on Toeplitz representation of CNNs, and then utilize it to reveal the Hessian structure and, in particular, its rank. We prove tight upper bounds (with linear activations), which closely follow the empirical trend of the Hessian rank and hold in practice in more general settings. Overall, our work generalizes and establishes the key insight that, even in CNNs, the Hessian rank grows as the square root of the number of parameters.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は長い間研究され応用されてきたが、我々はヘッセン写像の観点から、その性質についてわずかに異なる視点を提供することを目指している。 その理由は、損失ヘッシアンがパラメータの対的な相互作用を捉え、cnnのアーキテクチャ的側面が構造や特性にどのように現れるかを調べるための自然な基盤を形成しているからである。 我々は,CNNのToeplitz表現に依存したフレームワークを開発し,それを用いてヘッセン構造,特にそのランクを明らかにする。 我々は、ヘッセン階数の経験的傾向を忠実に追従し、より一般的な設定で実際に保持する(線形活性化を伴う)厳密な上界を証明する。 全体として、我々の研究は、CNNにおいてもパラメータ数の平方根としてヘッセン階数が増加するという重要な洞察を一般化し確立している。

関連論文リスト

• Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations [24.052411316664017]
  本稿では、2つの異なる入力に対して隠された表現の類似性を計測するカーネルシーケンスの進化に関する理論的枠組みを提案する。 非線形アクティベーションに対しては、カーネルシーケンスは、アクティベーションとネットワークアーキテクチャに依存する同様の表現に対応可能な、一意の固定点にグローバルに収束する。 この研究は、ディープニューラルネットワークの暗黙のバイアスと、アーキテクチャ上の選択が層間の表現の進化にどのように影響するかについて、新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-26T07:10:47Z)
• Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks [14.224234978509026]
  せん断ニューラルネットワーク(SNN)は自然にグラフニューラルネットワーク(GNN)を拡張する 構造図をより直感的に理解するための2つの新しいせん断学習手法を提案する。 評価では,これまでのSNNで使用されている実世界のベンチマークの限界を示す。
  論文  参考訳（メタデータ） (2024-07-30T07:17:46Z)
• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Convolutional Neural Networks Demystified: A Matched Filtering Perspective Based Tutorial [7.826806223782053]
  畳み込みニューラルネットワーク(CNN)は、大量の信号や画像を分析するためのデファクト標準である。 我々は、最初の原則と一致するフィルタリングの観点から、それらの操作を再考する。 このチュートリアルが、深層ニューラルネットワークの理解とさらなる発展に新たな光と物理的直感をもたらすことを願っています。
  論文  参考訳（メタデータ） (2021-08-26T09:07:49Z)
• Analytic Insights into Structure and Rank of Neural Network Hessian Maps [32.90143789616052]
  ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。 我々は、ヘッセン写像の範囲を分析する理論的ツールを開発し、その階数不足の正確な理解を提供する。 これにより、ディープ線形ネットワークのヘッセン階数に対する正確な公式と厳密な上界が得られる。
  論文  参考訳（メタデータ） (2021-06-30T17:29:58Z)
• Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
  Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。 室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
  論文  参考訳（メタデータ） (2021-01-17T18:28:23Z)
• Dissecting Hessian: Understanding Common Structure of Hessian in Neural Networks [11.57132149295061]
  Hessianは、ディープニューラルネットワークロスランドスケープの重要な特性をキャプチャする。 我々は、層ワイド・ヘッセンの最高固有空間に関する新しい観測を行う。 クロネッカー因数分解を用いてヘッセンを近似することにより、新しい固有空間構造を説明できることを示す。
  論文  参考訳（メタデータ） (2020-10-08T21:18:11Z)
• Linguistically Driven Graph Capsule Network for Visual Question Reasoning [153.76012414126643]
  我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。 具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。 CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
  論文  参考訳（メタデータ） (2020-03-23T03:34:25Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。