論文の概要: An Insect-Inspired Randomly, Weighted Neural Network with Random Fourier
Features For Neuro-Symbolic Relational Learning
- arxiv url: http://arxiv.org/abs/2109.06663v1
- Date: Sat, 11 Sep 2021 22:45:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-17 07:18:29.234263
- Title: An Insect-Inspired Randomly, Weighted Neural Network with Random Fourier
Features For Neuro-Symbolic Relational Learning
- Title（参考訳）: 昆虫に触発されたランダムな重み付きニューラルネットワークによるニューロ・シンボリック関係学習
- Authors: Jinyung Hong, Theodore P. Pavlic
- Abstract要約: 適応線形モデルをデコーダとして用いたエンコーダにランダムに描画された未学習重みを組み込んだランダム重み付き特徴ネットワークを提案する。
この特殊表現により、RWFNは線形デコーダモデルのみを訓練することで、入力間の関係の度合いを効果的に学習することができる。
LTNと比較して、RWFNsはオブジェクト分類とSIIタスクにおけるオブジェクト間の部分関係の検出の両方において、より良い、あるいは類似した性能を達成できることを実証した。
- 参考スコア（独自算出の注目度）: 2.28438857884398
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Insects, such as fruit flies and honey bees, can solve simple associative
learning tasks and learn abstract concepts such as "sameness" and "difference",
which is viewed as a higher-order cognitive function and typically thought to
depend on top-down neocortical processing. Empirical research with fruit flies
strongly supports that a randomized representational architecture is used in
olfactory processing in insect brains. Based on these results, we propose a
Randomly Weighted Feature Network (RWFN) that incorporates randomly drawn,
untrained weights in an encoder that uses an adapted linear model as a decoder.
The randomized projections between input neurons and higher-order processing
centers in the input brain is mimicked in RWFN by a single-hidden-layer neural
network that specially structures latent representations in the hidden layer
using random Fourier features that better represent complex relationships
between inputs using kernel approximation. Because of this special
representation, RWFNs can effectively learn the degree of relationship among
inputs by training only a linear decoder model. We compare the performance of
RWFNs to LTNs for Semantic Image Interpretation (SII) tasks that have been used
as a representative example of how LTNs utilize reasoning over first-order
logic to surpass the performance of solely data-driven methods. We demonstrate
that compared to LTNs, RWFNs can achieve better or similar performance for both
object classification and detection of the part-of relations between objects in
SII tasks while using much far fewer learnable parameters (1:62 ratio) and a
faster learning process (1:2 ratio of running speed). Furthermore, we show that
because the randomized weights do not depend on the data, several decoders can
share a single randomized encoder, giving RWFNs a unique economy of spatial
scale for simultaneous classification tasks.
- Abstract（参考訳）: フルーツハエやハチミツバチのような昆虫は、単純な連想学習のタスクを解き、より高次の認知機能と見なされ、通常はトップダウンの新皮質処理に依存していると考えられる「サムネス」や「差」といった抽象概念を学ぶことができる。
フルーツハエによる実証研究は、ランダムな表現アーキテクチャが昆虫の脳の嗅覚処理に用いられていることを強く支持している。
これらの結果に基づき、適応線形モデルをデコーダとして利用するエンコーダにランダムに描画された未学習重みを組み込んだランダム重み付き特徴ネットワーク(RWFN)を提案する。
入力ニューロンと入力脳の高次処理中心の間のランダムなプロジェクションは、カーネル近似を用いて入力間の複雑な関係をより良く表現するランダムフーリエ特徴を用いて隠蔽層内の潜伏表現を特別に構築する単一隠れ層ニューラルネットワークによってRWFNで模倣される。
この特殊表現により、RWFNは線形デコーダモデルのみを訓練することで、入力間の関係の度合いを効果的に学習することができる。
rwfn と ltns の比較を行った結果,一階述語論理による推論の方法がデータ駆動型メソッドの性能を上回っていることを示す代表的な例として,意味的画像解釈 (sii) タスクが用いられた。
LTNと比較して、RWFNはより少ない学習パラメータ(1:62比)と高速な学習プロセス(1:2比)を使用しながら、SIIタスクにおけるオブジェクトの分類とオブジェクト間の部分関係の検出の両方において、より良い、あるいは類似した性能を達成できることを示した。
さらに、ランダム化重みはデータに依存しないため、複数のデコーダが単一のランダム化エンコーダを共有でき、RWFNは同時分類タスクのための空間スケールのユニークな経済性を与える。
関連論文リスト
- Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。
ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。
我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
論文 参考訳（メタデータ） (2024-07-01T04:25:49Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Sparse Multitask Learning for Efficient Neural Representation of Motor
Imagery and Execution [30.186917337606477]
運動画像(MI)と運動実行(ME)タスクのためのスパースマルチタスク学習フレームワークを提案する。
MI-ME分類のためのデュアルタスクCNNモデルが与えられた場合、過渡的な接続に対して、サリエンシに基づくスペーシフィケーションアプローチを適用する。
以上の結果から, この調整された疎水性は, 過度に適合する問題を緩和し, 少ないデータ量でテスト性能を向上させることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T09:06:16Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Representing Prior Knowledge Using Randomly, Weighted Feature Networks
for Visual Relationship Detection [2.28438857884398]
RWFN (Randomly Weighted Feature Network) - 香港とパヴリックが導入。
本稿では,RWFNを用いて視覚的関係検出(VRD)タスクを行う。
論文 参考訳（メタデータ） (2021-11-20T21:56:45Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳（メタデータ） (2021-06-24T15:38:34Z) - Classifying high-dimensional Gaussian mixtures: Where kernel methods
fail and neural networks succeed [27.38015169185521]
2層ニューラルネットワーク (2lnn) の隠れたニューロンがカーネル学習の性能を上回ることができることを理論的に示している。
ニューラルネットワークのオーバーパラメータが収束を早めるが、最終的な性能は改善しないことを示す。
論文 参考訳（メタデータ） (2021-02-23T15:10:15Z) - Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater
Relational Expressiveness [3.5408022972081694]
ランダムに描画された未学習テンソルをトレーニングされたデコーダネットワークを備えたネットワークに組み込むランダム重み付きネットワーク(RWTN)を提案する。
RWTNは、画像解釈(SIITN)のために伝統的に訓練されたLTNのパフォーマンスを満たすか、超えるかを示す。
RWTNは、学習に少ないパラメータを使用しながら、オブジェクト分類においてLTNと同等のパフォーマンスを達成できることを実証する。
論文 参考訳（メタデータ） (2020-06-01T19:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。