論文の概要: Symbolic Synthesis of Neural Networks
- arxiv url: http://arxiv.org/abs/2303.03340v1
- Date: Mon, 6 Mar 2023 18:13:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 15:01:31.354034
- Title: Symbolic Synthesis of Neural Networks
- Title（参考訳）: ニューラルネットワークの記号合成
- Authors: Eli Whitehouse
- Abstract要約: グラフベース合成ニューラルネットワーク(GSSNN)について
GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。
人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks adapt very well to distributed and continuous
representations, but struggle to learn and generalize from small amounts of
data. Symbolic systems commonly achieve data efficient generalization by
exploiting modularity to benefit from local and discrete features of a
representation. These features allow symbolic programs to be improved one
module at a time and to experience combinatorial growth in the values they can
successfully process. However, it is difficult to design components that can be
used to form symbolic abstractions and which are highly-overparametrized like
neural networks, as the adjustment of parameters makes the semantics of modules
unstable. I present Graph-based Symbolically Synthesized Neural Networks
(G-SSNNs), a form of neural network whose topology and parameters are informed
by the output of a symbolic program. I demonstrate that by developing symbolic
abstractions at a population level, and applying gradient-based optimization to
such neural models at an individual level, I can elicit reliable patterns of
improved generalization with small quantities of data known to contain local
and discrete features. The paradigm embodied by G-SSNNs offers a route towards
the communal development of compact and composable abstractions which can be
flexibly repurposed for a variety of tasks and high-dimensional media. In
future work, I hope to pursue these benefits by exploring more ambitious G-SSNN
designs based on more complex classes of symbolic programs. The code and data
associated with the reported results are publicly available at
https://github.com/shlomenu/symbolically_synthesized_networks .
- Abstract（参考訳）: ニューラルネットワークは分散的かつ連続的な表現に非常によく適応するが、少量のデータから学習と一般化に苦労する。
シンボリックシステムは一般に、モジュラリティを利用して表現の局所的特徴と離散的特徴の恩恵を受けることで、データの効率的な一般化を実現する。
これらの特徴により、シンボリックプログラムは一度に1つのモジュールを改善し、うまく処理できる値の組合せ的な成長を経験することができる。
しかし、パラメータの調整によってモジュールのセマンティクスが不安定になるため、シンボリックな抽象化を形成し、ニューラルネットワークのように高度に過度にパラメータ化されたコンポーネントを設計することは困難である。
本稿では,グラフに基づく記号型合成ニューラルネットワーク(G-SSNN)について紹介する。
集団レベルでシンボリック抽象化を開発し、個々のレベルで勾配に基づく最適化を適用することで、局所的特徴と離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
G-SSNNによって具現化されたパラダイムは、様々なタスクや高次元メディアに対して柔軟に再利用できるコンパクトで構成可能な抽象化の共通開発への道筋を提供する。
今後の研究では、より複雑なシンボリックプログラムのクラスに基づいて、より野心的なG-SSNN設計を探求し、これらのメリットを追求したいと考えています。
報告された結果に関連するコードとデータはhttps://github.com/shlomenu/symbolically_synthesized_networksで公開されている。
関連論文リスト
- Steinmetz Neural Networks for Complex-Valued Data [23.80312814400945]
並列実値デッツワークと結合出力からなるDNNを用いて複素値データを処理する新しい手法を提案する。
提案するアーキテクチャのクラスは、Steinmetz Neural Networksと呼ばれ、多視点学習を利用して、潜在空間内でより解釈可能な表現を構築する。
提案手法は,これらのネットワークがベンチマーク・データセットや合成例で実現した改良性能と付加雑音を示す数値実験である。
論文 参考訳（メタデータ） (2024-09-16T08:26:06Z) - The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳（メタデータ） (2024-02-02T20:33:14Z) - BLIS-Net: Classifying and Analyzing Signals on Graphs [20.345611294709244]
グラフニューラルネットワーク(GNN)は、ノード分類やグラフ分類といったタスクのための強力なツールとして登場した。
我々は以前に導入された幾何散乱変換に基づいて構築された新しいGNNであるBLIS-Net(Bi-Lipschitz Scattering Net)を紹介する。
BLIS-Netは,交通流とfMRIデータに基づいて,合成データと実世界のデータの両方において優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-10-26T17:03:14Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Equivariant Matrix Function Neural Networks [1.8717045355288808]
解析行列同変関数を通じて非局所的相互作用をパラメータ化する新しいアーキテクチャであるマトリックス関数ニューラルネットワーク(MFNs)を導入する。
MFNは量子系の複雑な非局所的な相互作用を捉えることができ、新しい最先端の力場への道を歩むことができる。
論文 参考訳（メタデータ） (2023-10-16T14:17:00Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Logsig-RNN: a novel network for robust and efficient skeleton-based
action recognition [3.775860173040509]
我々は、ログネイティブ層とリカレント型ニューラルネットワーク(RNN)を組み合わせた新しいモジュール、Logsig-RNNを提案する。
特に,簡単な経路変換層とLogsig-RNNを組み合わせることで,Chalearn2013ジェスチャデータの最先端精度を実現する。
論文 参考訳（メタデータ） (2021-10-25T14:47:15Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。
我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
論文 参考訳（メタデータ） (2020-10-06T01:20:27Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。