論文の概要: Object-based attention for spatio-temporal reasoning: Outperforming
neuro-symbolic models with flexible distributed architectures
- arxiv url: http://arxiv.org/abs/2012.08508v1
- Date: Tue, 15 Dec 2020 18:57:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 05:42:02.812947
- Title: Object-based attention for spatio-temporal reasoning: Outperforming
neuro-symbolic models with flexible distributed architectures
- Title（参考訳）: 時空間推論のためのオブジェクトベース注意:柔軟な分散アーキテクチャを用いたニューロシンボリックモデルの性能向上
- Authors: David Ding, Felix Hill, Adam Santoro, Matt Botvinick
- Abstract要約: 適切な帰納的バイアスを持つ完全学習型ニューラルネットワークは,従来のニューラルシンボリックモデルよりもかなり優れた性能を示す。
我々のモデルは、自己意識と学習された「ソフト」オブジェクト中心表現の両方を批判的に利用します。
- 参考スコア（独自算出の注目度）: 15.946511512356878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks have achieved success in a wide array of perceptual tasks,
but it is often stated that they are incapable of solving tasks that require
higher-level reasoning. Two new task domains, CLEVRER and CATER, have recently
been developed to focus on reasoning, as opposed to perception, in the context
of spatio-temporal interactions between objects. Initial experiments on these
domains found that neuro-symbolic approaches, which couple a logic engine and
language parser with a neural perceptual front-end, substantially outperform
fully-learned distributed networks, a finding that was taken to support the
above thesis. Here, we show on the contrary that a fully-learned neural network
with the right inductive biases can perform substantially better than all
previous neural-symbolic models on both of these tasks, particularly on
questions that most emphasize reasoning over perception. Our model makes
critical use of both self-attention and learned "soft" object-centric
representations, as well as BERT-style semi-supervised predictive losses. These
flexible biases allow our model to surpass the previous neuro-symbolic
state-of-the-art using less than 60% of available labelled data. Together,
these results refute the neuro-symbolic thesis laid out by previous work
involving these datasets, and they provide evidence that neural networks can
indeed learn to reason effectively about the causal, dynamic structure of
physical events.
- Abstract（参考訳）: ニューラルネットワークは様々な知覚的タスクで成功を収めてきたが、高レベルの推論を必要とするタスクを解くことはできないとしばしば述べられている。
CLEVRERとCATERという2つの新しいタスクドメインが最近開発され、物体間の時空間相互作用の文脈において、知覚とは対照的に推論に焦点を当てている。
これらの領域での最初の実験では、論理エンジンと言語パーサとニューラルネットワーク知覚フロントエンドを結合したニューロシンボリックアプローチが、完全に学習された分散ネットワークを実質的に上回っていることが判明した。
そこで,本研究では,正しい帰納的バイアスを持つ完全学習型ニューラルネットワークが,これら2つの課題,特に知覚よりも推論を最も重視する問題において,従来のすべてのニューラルシンボリックモデルよりも有意に優れた性能を発揮することを示す。
我々のモデルは,自己注意と学習対象中心の表現,およびBERTスタイルの半教師付き予測損失の両方を批判的に活用する。
これらの柔軟なバイアスにより、私たちのモデルは、利用可能なラベル付きデータの60%未満を使用して、過去のニューロシンボリックな最先端技術を上回ることができる。
これらの結果は、これらのデータセットを含む以前の研究で述べられたニューロシンボリック・テーゼに反するものであり、ニューラルネットワークが物理的事象の因果的、動的構造について効果的に推論できるという証拠を提供する。
関連論文リスト
- Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。
このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。
これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
論文 参考訳（メタデータ） (2024-10-17T17:47:54Z) - Cognitive Networks and Performance Drive fMRI-Based State Classification Using DNN Models [0.0]
我々は、個々の認知状態を分類するために、構造的に異なる2つのDNNモデルと相補的なDNNモデルを用いる。
アーキテクチャ上の違いにもかかわらず、両者のモデルが常に予測精度と個人の認知性能との間に堅牢な関係を生んでいることを示す。
論文 参考訳（メタデータ） (2024-08-14T15:25:51Z) - Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳（メタデータ） (2023-10-16T17:04:51Z) - Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like
Training in a Multi-Agent Network Framework [6.446189857311325]
本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。
本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。
3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
論文 参考訳（メタデータ） (2023-10-15T21:07:09Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。
NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
論文 参考訳（メタデータ） (2022-10-11T16:11:48Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。