論文の概要: HorNets: Learning from Discrete and Continuous Signals with Routing Neural Networks

• arxiv url: http://arxiv.org/abs/2501.14346v2
• Date: Thu, 13 Feb 2025 17:03:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:46:10.302476
• Title: HorNets: Learning from Discrete and Continuous Signals with Routing Neural Networks
• Title（参考訳）: HorNets: ニューラルネットワークをルーティングする離散信号と連続信号から学ぶ
• Authors: Boshko Koloski, Nada Lavrač, Blaž Škrlj,
• Abstract要約: HorNetsはニューラルネットワークアーキテクチャであり、合成データセットと実生活データセットの最先端のパフォーマンスを持つ。 HorNetは、カテゴリベンチマークの合成ジェネレータとともに、パーミッシブライセンスの下で自由に利用できる。
• 参考スコア（独自算出の注目度）: 1.7045015089434068
• License:
• Abstract: Construction of neural network architectures suitable for learning from both continuous and discrete tabular data is a challenging research endeavor. Contemporary high-dimensional tabular data sets are often characterized by a relatively small instance count, requiring data-efficient learning. We propose HorNets (Horn Networks), a neural network architecture with state-of-the-art performance on synthetic and real-life data sets from scarce-data tabular domains. HorNets are based on a clipped polynomial-like activation function, extended by a custom discrete-continuous routing mechanism that decides which part of the neural network to optimize based on the input's cardinality. By explicitly modeling parts of the feature combination space or combining whole space in a linear attention-like manner, HorNets dynamically decide which mode of operation is the most suitable for a given piece of data with no explicit supervision. This architecture is one of the few approaches that reliably retrieves logical clauses (including noisy XNOR) and achieves state-of-the-art classification performance on 14 real-life biomedical high-dimensional data sets. HorNets are made freely available under a permissive license alongside a synthetic generator of categorical benchmarks.
• Abstract（参考訳）: 連続的および離散的な表データから学ぶのに適したニューラルネットワークアーキテクチャの構築は、困難な研究課題である。 現代の高次元の表型データセットは、多くの場合、データ効率の学習を必要とする比較的小さなインスタンス数によって特徴づけられる。 HorNets(Horn Networks)は,少ないデータ表領域の合成および実生活データセットに対して,最先端の性能を持つニューラルネットワークアーキテクチャである。 HorNetはクリップされた多項式のようなアクティベーション関数に基づいており、入力の濃度に基づいてニューラルネットワークのどの部分を最適化するかを決定する独自の離散連続ルーティングメカニズムによって拡張されている。 特徴結合空間の一部を明示的にモデル化したり、線形アテンションのような方法で全空間を結合することによって、HorNetsは明示的な監督なしに、与えられたデータに対してどの操作モードが最も適しているかを動的に決定する。 このアーキテクチャは、論理節(ノイズXNORを含む)を確実に検索し、14の実生活のバイオメディカルな高次元データセットに対して最先端の分類性能を達成する数少ないアプローチの1つである。 HorNetは、カテゴリベンチマークの合成ジェネレータとともに、パーミッシブライセンスの下で自由に利用できる。

関連論文リスト

• Steinmetz Neural Networks for Complex-Valued Data [23.80312814400945]
  並列実値デッツワークと結合出力からなるDNNを用いて複素値データを処理する新しい手法を提案する。 提案するアーキテクチャのクラスは、Steinmetz Neural Networksと呼ばれ、多視点学習を利用して、潜在空間内でより解釈可能な表現を構築する。 提案手法は,これらのネットワークがベンチマーク・データセットや合成例で実現した改良性能と付加雑音を示す数値実験である。
  論文  参考訳（メタデータ） (2024-09-16T08:26:06Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Sapinet: A sparse event-based spatiotemporal oscillator for learning in the wild [0.0]
  Sapinetは、悲惨なことを忘れずに複数の入力をワンショットで学習するオンライン学習だ。 Sapinetの主な特徴は、データの正規化、モデルのスケーリング、データの分類、デノイングである。
  論文  参考訳（メタデータ） (2022-04-13T07:37:27Z)
• An optimised deep spiking neural network architecture without gradients [7.183775638408429]
  本稿では、局所シナプスおよびしきい値適応ルールを用いたエンドツーエンドのトレーニング可能なモジュラーイベント駆動ニューラルアーキテクチャを提案する。 このアーキテクチャは、既存のスパイキングニューラルネットワーク(SNN)アーキテクチャの高度に抽象化されたモデルを表している。
  論文  参考訳（メタデータ） (2021-09-27T05:59:12Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
  Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。 室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
  論文  参考訳（メタデータ） (2021-01-17T18:28:23Z)
• Ensembled sparse-input hierarchical networks for high-dimensional datasets [8.629912408966145]
  サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。 提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。 EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
  論文  参考訳（メタデータ） (2020-05-11T02:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。