論文の概要: Demystifying the Hypercomplex: Inductive Biases in Hypercomplex Deep Learning

• arxiv url: http://arxiv.org/abs/2405.07024v1
• Date: Sat, 11 May 2024 14:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 18:47:31.271887
• Title: Demystifying the Hypercomplex: Inductive Biases in Hypercomplex Deep Learning
• Title（参考訳）: 超複雑深層学習における誘導的ビアーゼ
• Authors: Danilo Comminiello, Eleonora Grassucci, Danilo P. Mandic, Aurelio Uncini,
• Abstract要約: 本稿では,超複雑深層学習手法がなぜ成功し,その可能性をどのように活用できるかを理解するための枠組みを提供する。 超複素領域における特定の帰納バイアスを導出できることを示す。 これらのバイアスは、これらの領域の特徴的な性質や多次元および多モード信号の複素構造を管理するのに有効である。
• 参考スコア（独自算出の注目度）: 23.501824517684465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hypercomplex algebras have recently been gaining prominence in the field of deep learning owing to the advantages of their division algebras over real vector spaces and their superior results when dealing with multidimensional signals in real-world 3D and 4D paradigms. This paper provides a foundational framework that serves as a roadmap for understanding why hypercomplex deep learning methods are so successful and how their potential can be exploited. Such a theoretical framework is described in terms of inductive bias, i.e., a collection of assumptions, properties, and constraints that are built into training algorithms to guide their learning process toward more efficient and accurate solutions. We show that it is possible to derive specific inductive biases in the hypercomplex domains, which extend complex numbers to encompass diverse numbers and data structures. These biases prove effective in managing the distinctive properties of these domains, as well as the complex structures of multidimensional and multimodal signals. This novel perspective for hypercomplex deep learning promises to both demystify this class of methods and clarify their potential, under a unifying framework, and in this way promotes hypercomplex models as viable alternatives to traditional real-valued deep learning for multidimensional signal processing.
• Abstract（参考訳）: 超複素代数は、実ベクトル空間上の除算代数の利点と実世界の3Dおよび4Dパラダイムにおける多次元信号を扱う場合の優れた結果により、近年、ディープラーニングの分野で注目されている。 本稿では,超複雑深層学習手法がなぜ成功し,その可能性をどのように活用するのかを理解するためのロードマップとして,基礎的な枠組みを提供する。 このような理論的な枠組みは、帰納的バイアス、すなわち、より効率的で正確な解へと学習プロセスを導くための訓練アルゴリズムに組み込まれた仮定、性質、制約の集合という観点で説明される。 複素数を拡張して多種多様な数やデータ構造を包含する超複素領域において、特定の帰納バイアスを導出できることを示す。 これらのバイアスは、これらの領域の特徴的な性質や多次元および多モード信号の複素構造を管理するのに有効である。 この超複雑深層学習の新たな視点は、このような手法をデミスティフィケートし、その可能性を明らかにすることを約束し、この方法では、多次元信号処理のための従来の実数値深層学習の代替手段として、超複雑モデルを促進する。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Combinatorial Complexes: Bridging the Gap Between Cell Complexes and Hypergraphs [18.793940779717627]
  ハイパーグラフとセルコンプレックスは,アプリケーションコンテキストによって異なる実用性を持つような,多彩な関係性を重視している,と我々は主張する。 これら2つの選択の相対的な利点について論じ、既存の集合型および階層的関係の共存を可能にする複素体の概念について詳述する。
  論文  参考訳（メタデータ） (2023-12-15T03:04:28Z)
• Higher-order topological kernels via quantum computation [68.8204255655161]
  トポロジカルデータ分析(TDA)は、複雑なデータから意味のある洞察を抽出する強力なツールとして登場した。 本稿では,ベッチ曲線の次数増加に基づくBettiカーネルの量子的定義法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T14:48:52Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Bounds on quantum evolution complexity via lattice cryptography [0.0]
  量子論における可積分運動とカオス運動の差は、対応する進化作用素の複雑さによって表される。 ここでの複雑性は、時間依存進化作用素とユニタリ群内の原点の間の最短測地線距離として理解されている。
  論文  参考訳（メタデータ） (2022-02-28T16:20:10Z)
• Forward Super-Resolution: How Can GANs Learn Hierarchical Generative Models for Real-World Distributions [66.05472746340142]
  生成ネットワーク(GAN)は、複雑で現実世界の分布を学習する上で最も成功したネットワークの一つである。 本稿では,GANが実写画像の分布を効率的に学習する方法について述べる。
  論文  参考訳（メタデータ） (2021-06-04T17:33:29Z)
• Quadric hypersurface intersection for manifold learning in feature space [52.83976795260532]
  適度な高次元と大きなデータセットに適した多様体学習技術。 この手法は、二次超曲面の交点という形で訓練データから学習される。 テスト時、この多様体は任意の新しい点に対する外れ値スコアを導入するのに使うことができる。
  論文  参考訳（メタデータ） (2021-02-11T18:52:08Z)
• A General Framework for Hypercomplex-valued Extreme Learning Machines [2.055949720959582]
  本稿では,汎用超複素代数上での極端学習機械(ELM)の枠組みを確立することを目的とする。 実数値線形代数演算によりこれらの代数を演算する枠組みを示す。 実験は、高次元データを扱うための超複素値elmの優れた性能を強調する。
  論文  参考訳（メタデータ） (2021-01-15T15:22:05Z)
• Learning Theory for Inferring Interaction Kernels in Second-Order Interacting Agent Systems [17.623937769189364]
  推定器の強い一貫性と最適非パラメトリック min-max 収束率を確立する完全学習理論を開発する。 推定器を構築するための数値アルゴリズムは並列化可能であり、高次元問題に対してよく機能し、複雑な力学系上で実証される。
  論文  参考訳（メタデータ） (2020-10-08T02:07:53Z)
• Unitary Learning for Deep Diffractive Neural Network [0.0]
  深層拡散型ニューラルネットワーク上での一元学習プロトコルを提案する。 単元学習における時間空間の進化特性を定式化し解明する。 予備的な応用として、単位学習を伴う深層拡散ニューラルネットワークを2次元分類と検証タスクに仮実装する。
  論文  参考訳（メタデータ） (2020-08-17T07:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。