論文の概要: Understanding Vector-Valued Neural Networks and Their Relationship with Real and Hypercomplex-Valued Neural Networks

• arxiv url: http://arxiv.org/abs/2309.07716v2
• Date: Thu, 1 Aug 2024 14:16:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-02 14:55:39.173797
• Title: Understanding Vector-Valued Neural Networks and Their Relationship with Real and Hypercomplex-Valued Neural Networks
• Title（参考訳）: ベクトル値ニューラルネットワークの理解と実・超複素値ニューラルネットワークとの関係
• Authors: Marcos Eduardo Valle,
• Abstract要約: 本稿では,ベクトル値ニューラルネットワーク(V-nets)の広範なフレームワークを提案する。 我々は、超複素数値ニューラルネットワークを含むV-netが、現在のディープラーニングライブラリにおいて、実数値ネットワークとしてどのように実装できるかを示す。
• 参考スコア（独自算出の注目度）: 0.4895118383237099
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite the many successful applications of deep learning models for multidimensional signal and image processing, most traditional neural networks process data represented by (multidimensional) arrays of real numbers. The intercorrelation between feature channels is usually expected to be learned from the training data, requiring numerous parameters and careful training. In contrast, vector-valued neural networks are conceived to process arrays of vectors and naturally consider the intercorrelation between feature channels. Consequently, they usually have fewer parameters and often undergo more robust training than traditional neural networks. This paper aims to present a broad framework for vector-valued neural networks, referred to as V-nets. In this context, hypercomplex-valued neural networks are regarded as vector-valued models with additional algebraic properties. Furthermore, this paper explains the relationship between vector-valued and traditional neural networks. Precisely, a vector-valued neural network can be obtained by placing restrictions on a real-valued model to consider the intercorrelation between feature channels. Finally, we show how V-nets, including hypercomplex-valued neural networks, can be implemented in current deep-learning libraries as real-valued networks.
• Abstract（参考訳）: 多次元信号と画像処理のためのディープラーニングモデルが成功したにもかかわらず、ほとんどの伝統的なニューラルネットワークは実数の(多次元)配列で表されるデータを処理している。 特徴チャネル間の相互相関は通常、トレーニングデータから学習され、多くのパラメータと注意深いトレーニングが必要になる。 対照的に、ベクトル値ニューラルネットワークはベクトルの配列を処理し、特徴チャネル間の相互相関を自然に考慮する。 その結果、通常はパラメータが少ないため、従来のニューラルネットワークよりも堅牢なトレーニングが実施されることが多い。 本稿では,ベクトル値ニューラルネットワーク(V-nets)の広範なフレームワークを提案する。 この文脈では、超複素数値ニューラルネットワークは、追加の代数的性質を持つベクトル値モデルとみなされる。 さらに,ベクトル値と従来のニューラルネットワークの関係について述べる。 正確には、特徴チャネル間の相互相関を考慮するために、実数値モデルに制約を置くことにより、ベクトル値ニューラルネットワークを得ることができる。 最後に、超複素数値ニューラルネットワークを含むV-netが、現在のディープラーニングライブラリを実数値ネットワークとして実装可能であることを示す。

関連論文リスト

• Hybrid deep additive neural networks [0.0]
  加算回帰という概念を取り入れた新しいディープニューラルネットワークを導入する。 我々のニューラルネットワークは、Kolmogorov-Arnoldネットワークとアーキテクチャ上の類似点を共有しているが、よりシンプルで柔軟なアクティベーションと基底関数に基づいている。 我々はそれらの普遍近似特性を導出し、シミュレーション研究と実データ応用を通してその効果を実証する。
  論文  参考訳（メタデータ） (2024-11-14T04:26:47Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions [9.936974568429173]
  対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。 以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。 これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-01-11T17:57:33Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Optimal Approximation with Sparse Neural Networks and Applications [0.0]
  深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。 また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。 次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
  論文  参考訳（メタデータ） (2021-08-14T05:14:13Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks [3.7277730514654555]
  決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。 同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
  論文  参考訳（メタデータ） (2020-02-11T11:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。