論文の概要: PHYDI: Initializing Parameterized Hypercomplex Neural Networks as Identity Functions

• arxiv url: http://arxiv.org/abs/2310.07612v1
• Date: Wed, 11 Oct 2023 15:56:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 22:00:18.717974
• Title: PHYDI: Initializing Parameterized Hypercomplex Neural Networks as Identity Functions
• Title（参考訳）: PHYDI: パラメータ化ハイパープレックスニューラルネットワークをアイデンティティ関数として初期化する
• Authors: Matteo Mancanelli, Eleonora Grassucci, Aurelio Uncini, and Danilo Comminiello
• Abstract要約: パラメータ化ハイパーコンプレックスニューラルネットワーク (PHNN) のサイズは拡大しており, 大規模に収束を制御する技術は採用されていない。 本稿では,PHNNの収束性について検討し,異なるスケールでの収束性を改善する方法を提案する。 本稿では,ResNets と Transformer をベースとした共通 PHNN を用いて,異なるベンチマークで本手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 9.836302410524842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural models based on hypercomplex algebra systems are growing and prolificating for a plethora of applications, ranging from computer vision to natural language processing. Hand in hand with their adoption, parameterized hypercomplex neural networks (PHNNs) are growing in size and no techniques have been adopted so far to control their convergence at a large scale. In this paper, we study PHNNs convergence and propose parameterized hypercomplex identity initialization (PHYDI), a method to improve their convergence at different scales, leading to more robust performance when the number of layers scales up, while also reaching the same performance with fewer iterations. We show the effectiveness of this approach in different benchmarks and with common PHNNs with ResNets- and Transformer-based architecture. The code is available at https://github.com/ispamm/PHYDI.
• Abstract（参考訳）: 超複素代数系に基づくニューラルモデルは、コンピュータビジョンから自然言語処理まで、多くのアプリケーションのために成長し、発展している。 パラメータ化ハイパーコンプレックスニューラルネットワーク(PHNN)の採用に伴い,パラメータ化ハイパーコンプレックスニューラルネットワーク(PHNN)のサイズが拡大しており,その収束を大規模に制御するためのテクニックが採用されていない。 本稿では,PHNNの収束について検討し,異なるスケールでの収束を改善する手法であるパラメータ化超複素ID初期化(PHYDI)を提案する。 本稿では,ResNets と Transformer をベースとした共通 PHNN を用いて,この手法の有効性を示す。 コードはhttps://github.com/ispamm/phydiで入手できる。

関連論文リスト

• Geometry Aware Meta-Learning Neural Network for Joint Phase and Precoder Optimization in RIS [9.20186865054847]
  マルチユーザ複数入力単一出力システムにおける重み付け総和率を最大化する,複雑で幾何を考慮したメタラーニングニューラルネットワークを提案する。 我々は、位相シフトに複雑な値のニューラルネットワークを使用し、Eulerにインスパイアされたプレコーダネットワークのアップデートを行った。 我々のアプローチは、既存のニューラルネットワークベースのアルゴリズムよりも優れており、より重み付けされた総和率、消費電力の低減、およびはるかに高速な収束を提供する。
  論文  参考訳（メタデータ） (2024-09-17T15:20:23Z)
• Towards Explaining Hypercomplex Neural Networks [6.543091030789653]
  ハイパーコンプレックスニューラルネットワークは、ディープラーニングコミュニティへの関心が高まっている。 本稿では,本質的に解釈可能なPHNNと4元ネットワークを提案する。 我々は、このユニークなニューラルネットワークのブランチがどのように機能するかを洞察する。
  論文  参考訳（メタデータ） (2024-03-26T17:58:07Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Convergence and scaling of Boolean-weight optimization for hardware reservoirs [0.0]
  我々は、ランダムにリカレント接続されたニューラルネットワークの読み出し層を最適化するために、高効率なコーディネートDescentのスケーリング法則を解析的に導出した。 本結果は,概念実証実験で実施した大規模フォトニック貯水池の収束とスケーリングを完璧に再現するものである。
  論文  参考訳（メタデータ） (2023-05-13T12:15:25Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。