論文の概要: Neural Sequence-to-grid Module for Learning Symbolic Rules
- arxiv url: http://arxiv.org/abs/2101.04921v1
- Date: Wed, 13 Jan 2021 07:53:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-03 19:39:01.409992
- Title: Neural Sequence-to-grid Module for Learning Symbolic Rules
- Title（参考訳）: 記号規則学習のためのニューラルシーケンス-グリッドモジュール
- Authors: Segwang Kim, Hyoungwook Nam, Joonyoung Kim, Kyomin Jung
- Abstract要約: 入力シーケンスを自動的にグリッドに分割して整列する入力プリプロセッサであるニューラルシーケンス・ツー・グリッド(seq2grid)モジュールを提案する。
私たちのモジュールは、新しい微分可能なマッピングを介してグリッドを出力するため、ResNetやTextCNNなどのグリッド入力を取るニューラルネットワーク構造は、モジュールと共同でトレーニングすることができます。
- 参考スコア（独自算出の注目度）: 14.946594806351971
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Logical reasoning tasks over symbols, such as learning arithmetic operations
and computer program evaluations, have become challenges to deep learning. In
particular, even state-of-the-art neural networks fail to achieve
\textit{out-of-distribution} (OOD) generalization of symbolic reasoning tasks,
whereas humans can easily extend learned symbolic rules. To resolve this
difficulty, we propose a neural sequence-to-grid (seq2grid) module, an input
preprocessor that automatically segments and aligns an input sequence into a
grid. As our module outputs a grid via a novel differentiable mapping, any
neural network structure taking a grid input, such as ResNet or TextCNN, can be
jointly trained with our module in an end-to-end fashion. Extensive experiments
show that neural networks having our module as an input preprocessor achieve
OOD generalization on various arithmetic and algorithmic problems including
number sequence prediction problems, algebraic word problems, and computer
program evaluation problems while other state-of-the-art sequence transduction
models cannot. Moreover, we verify that our module enhances TextCNN to solve
the bAbI QA tasks without external memory.
- Abstract（参考訳）: 算術演算やコンピュータプログラム評価などの記号に対する論理的推論タスクは、深層学習の課題となっている。
特に、最先端のニューラルネットワークでさえ、シンボリック推論タスクの一般化である \textit{out-of-distribution} (ood) を達成することができない。
そこで本研究では,入力列をグリッドに自動的に分割調整する入力プリプロセッサであるneural sequence-to-grid (seq2grid)モジュールを提案する。
我々のモジュールは、新しい微分可能マッピングを通じてグリッドを出力するので、ResNetやTextCNNのようなグリッド入力を受信するニューラルネットワーク構造は、エンドツーエンドで、我々のモジュールと共同でトレーニングすることができる。
入力前処理系としてモジュールを持つニューラルネットワークは,数列予測問題,代数語問題,コンピュータプログラム評価問題など,様々な算術的およびアルゴリズム的な問題に対してOOD一般化を実現する一方で,他の最先端のシーケンス変換モデルでは実現できないことを示す。
さらに,外部メモリを使わずにbAbIのQAタスクを解くために,我々のモジュールがTextCNNを強化することを確認した。
関連論文リスト
- LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳（メタデータ） (2023-06-30T17:59:13Z) - A Neural Lambda Calculus: Neurosymbolic AI meets the foundations of
computing and functional programming [0.0]
我々は、プログラム全体の実行方法を学ぶニューラルネットワークの能力を分析する。
統合型ニューラルラーニングと電卓形式化の導入について紹介する。
論文 参考訳（メタデータ） (2023-04-18T20:30:16Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Pathfinding Neural Cellular Automata [23.831530224401575]
Pathfindingは、ロボットパス計画、トランスポートルーティング、ゲームプレイなど、幅広い複雑なAIタスクの重要なサブコンポーネントである。
我々は, Breadth-First Search (BFS) のモデル,すなわち最短経路探索のハンドコードと学習を行う。
本稿では、Depth-First Search(DFS)のニューラル実装を提案し、グラフの直径を計算するためのNAAを生成するために、ニューラルネットワークBFSと組み合わせる方法について概説する。
我々は,これらの手書きNCAに触発されたアーキテクチャ変更を実験し,グリッド迷路の直径問題を解くためにゼロからネットワークをトレーニングし,高い能力の一般化を示した。
論文 参考訳（メタデータ） (2023-01-17T11:45:51Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳（メタデータ） (2022-11-22T16:30:33Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Modeling Structure with Undirected Neural Networks [20.506232306308977]
任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。
さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
論文 参考訳（メタデータ） (2022-02-08T10:06:51Z) - Extending Answer Set Programs with Neural Networks [2.512827436728378]
ニューラルネットワークを導入することで、応答セットプログラムをシンプルに拡張するNeurASPを提案する。
我々は、NeurASPがトレーニング済みニューラルネットワークの知覚精度を向上できるだけでなく、論理ルールによる制約を与えることで、ニューラルネットワークをより良くトレーニングできることを示した。
論文 参考訳（メタデータ） (2020-09-22T00:52:30Z) - RE-MIMO: Recurrent and Permutation Equivariant Neural MIMO Detection [85.44877328116881]
無線通信システムにおけるシンボル検出のための新しいニューラルネットワークを提案する。
無線通信システムにおけるいくつかの重要な考察に動機付けられている。
その性能を既存手法と比較し,ネットワークが可変数の送信機を効率的に処理できることを示す。
論文 参考訳（メタデータ） (2020-06-30T22:43:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。