論文の概要: Towards Explaining Hypercomplex Neural Networks

• arxiv url: http://arxiv.org/abs/2403.17929v1
• Date: Tue, 26 Mar 2024 17:58:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 14:08:24.519171
• Title: Towards Explaining Hypercomplex Neural Networks
• Title（参考訳）: 超複雑ニューラルネットワークの解説に向けて
• Authors: Eleonora Lopez, Eleonora Grassucci, Debora Capriotti, Danilo Comminiello,
• Abstract要約: ハイパーコンプレックスニューラルネットワークは、ディープラーニングコミュニティへの関心が高まっている。 本稿では,本質的に解釈可能なPHNNと4元ネットワークを提案する。 我々は、このユニークなニューラルネットワークのブランチがどのように機能するかを洞察する。
• 参考スコア（独自算出の注目度）: 6.543091030789653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hypercomplex neural networks are gaining increasing interest in the deep learning community. The attention directed towards hypercomplex models originates from several aspects, spanning from purely theoretical and mathematical characteristics to the practical advantage of lightweight models over conventional networks, and their unique properties to capture both global and local relations. In particular, a branch of these architectures, parameterized hypercomplex neural networks (PHNNs), has also gained popularity due to their versatility across a multitude of application domains. Nonetheless, only few attempts have been made to explain or interpret their intricacies. In this paper, we propose inherently interpretable PHNNs and quaternion-like networks, thus without the need for any post-hoc method. To achieve this, we define a type of cosine-similarity transform within the parameterized hypercomplex domain. This PHB-cos transform induces weight alignment with relevant input features and allows to reduce the model into a single linear transform, rendering it directly interpretable. In this work, we start to draw insights into how this unique branch of neural models operates. We observe that hypercomplex networks exhibit a tendency to concentrate on the shape around the main object of interest, in addition to the shape of the object itself. We provide a thorough analysis, studying single neurons of different layers and comparing them against how real-valued networks learn. The code of the paper is available at https://github.com/ispamm/HxAI.
• Abstract（参考訳）: ハイパーコンプレックスニューラルネットワークは、ディープラーニングコミュニティへの関心が高まっている。 超複素モデルに向けられた注意は、純粋に理論的および数学的特徴から従来のネットワークよりも軽量なモデルが実用的に優れていること、そしてグローバルとローカルの関係を捉えるために固有の性質にまたがる様々な側面から来ている。 特に、これらのアーキテクチャのブランチであるパラメータ化ハイパーコンプレックスニューラルネットワーク(PHNN)は、多数のアプリケーションドメインにまたがる汎用性から人気を集めている。 それでも、その複雑さを説明・解釈する試みはごくわずかである。 本稿では,ポストホック法を必要とせず,本質的に解釈可能なPHNNと4元ネットワークを提案する。 これを実現するために、パラメータ化超複素領域内のコサイン相似変換のタイプを定義する。 このPHB-cos変換は、関連する入力特徴との重み付けを誘導し、モデルを1つの線形変換に還元し、直接解釈可能である。 この研究で、我々はこのユニークなニューラルモデルがどのように機能するかについての洞察を導き始めます。 我々は,超複雑ネットワークが対象物そのものの形状に加えて,主対象物を取り巻く形状に集中する傾向を示すことを観察した。 我々は、異なる階層の単一ニューロンを網羅的に分析し、実際の価値あるネットワークがどのように学習するかと比較する。 論文のコードはhttps://github.com/ispamm/HxAIで公開されている。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• PHYDI: Initializing Parameterized Hypercomplex Neural Networks as Identity Functions [9.836302410524842]
  パラメータ化ハイパーコンプレックスニューラルネットワーク (PHNN) のサイズは拡大しており, 大規模に収束を制御する技術は採用されていない。 本稿では,PHNNの収束性について検討し,異なるスケールでの収束性を改善する方法を提案する。 本稿では,ResNets と Transformer をベースとした共通 PHNN を用いて,異なるベンチマークで本手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-10-11T15:56:55Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Introduction to dynamical mean-field theory of generic random neural networks [2.0711789781518752]
  初心者がこのツールの本質や基礎となる物理学にアクセスするのは容易ではない。 本稿では,この手法を汎用的ランダムニューラルネットワークの具体例に紹介する。 積分微分平均場方程式を解く数値的実装についても詳述する。
  論文  参考訳（メタデータ） (2023-05-15T09:01:40Z)
• When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
  過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。 一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
  論文  参考訳（メタデータ） (2023-04-29T11:46:53Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
  Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。 従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
  論文  参考訳（メタデータ） (2021-02-25T17:45:50Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。