論文の概要: Relational reasoning and generalization using non-symbolic neural
networks
- arxiv url: http://arxiv.org/abs/2006.07968v3
- Date: Sun, 1 May 2022 19:39:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 09:42:43.561835
- Title: Relational reasoning and generalization using non-symbolic neural
networks
- Title(参考訳): 非シンボリックニューラルネットワークを用いた関係推論と一般化
- Authors: Atticus Geiger, Alexandra Carstensen, Michael C. Frank, and
Christopher Potts
- Abstract要約: これまでの研究では、ニューラルネットワークは数学的同一性を表現することができないため、人間関係推論の適切なモデルではないことが示唆された。
ニューラルネットワークは、基本等式(数学的同一性)を学習し、(2)正のトレーニングインスタンスのみを持つ逐次等式問題(ABAパターンの学習シーケンス)、(3)基本等式トレーニングインスタンスのみを持つ複雑で階層的等式問題(英語版)を学習できる。
これらの結果は,データ駆動型,非記号的学習プロセスから,象徴的推論の本質的な側面が生まれることを示唆している。
- 参考スコア(独自算出の注目度): 66.07793171648161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The notion of equality (identity) is simple and ubiquitous, making it a key
case study for broader questions about the representations supporting abstract
relational reasoning. Previous work suggested that neural networks were not
suitable models of human relational reasoning because they could not represent
mathematically identity, the most basic form of equality. We revisit this
question. In our experiments, we assess out-of-sample generalization of
equality using both arbitrary representations and representations that have
been pretrained on separate tasks to imbue them with structure. We find neural
networks are able to learn (1) basic equality (mathematical identity), (2)
sequential equality problems (learning ABA-patterned sequences) with only
positive training instances, and (3) a complex, hierarchical equality problem
with only basic equality training instances ("zero-shot'" generalization). In
the two latter cases, our models perform tasks proposed in previous work to
demarcate human-unique symbolic abilities. These results suggest that essential
aspects of symbolic reasoning can emerge from data-driven, non-symbolic
learning processes.
- Abstract(参考訳): 等式の概念(identity)は単純かつユビキタスであり、抽象的関係推論をサポートする表現に関する幅広い質問に対する重要なケーススタディである。
これまでの研究では、ニューラルネットワークは数学的同一性を表現することができないため、人間関係推論の適切なモデルではないことが示唆された。
私たちはこの質問を再考する。
実験では,異なるタスクで事前学習された任意の表現と表現の両方を用いて等式を一般化し,構造を付与する。
ニューラルネットワークは,(1)基本等式(数学的等式),(2)正のトレーニングインスタンスのみを用いた逐次等等式問題(abaパターン列の学習),(3)基本等式トレーニングインスタンスのみを持つ複雑で階層的な等式問題(「ゼロショット」一般化)を学習できることがわかった。
後者の2例では,先行研究で提案するヒューマン・ユネスクな象徴的能力を示すタスクを遂行する。
これらの結果は,データ駆動型非象徴的学習プロセスから,象徴的推論の本質的な側面が生まれることを示唆している。
関連論文リスト
- A Recursive Bateson-Inspired Model for the Generation of Semantic Formal
Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。
このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。
このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文 参考訳(メタデータ) (2023-07-16T15:59:13Z) - A Hybrid System for Systematic Generalization in Simple Arithmetic
Problems [70.91780996370326]
本稿では,記号列に対する合成的および体系的推論を必要とする算術的問題を解くことができるハイブリッドシステムを提案する。
提案システムは,最も単純なケースを含むサブセットでのみ訓練された場合においても,ネストした数式を正確に解くことができることを示す。
論文 参考訳(メタデータ) (2023-06-29T18:35:41Z) - A Simple Generative Model of Logical Reasoning and Statistical Learning [0.6853165736531939]
統計的学習と論理的推論は、AIの2つの主要な分野であり、人間のようなマシンインテリジェンスに統一されることが期待されている。
本稿では、論理的推論と統計的学習の単純なベイズモデルを提案する。
我々は、形式論理におけるその満足度の観点から、データがどのように象徴的知識を引き起こすかをモデル化する。
論文 参考訳(メタデータ) (2023-05-18T16:34:51Z) - Divide and Conquer: Answering Questions with Object Factorization and
Compositional Reasoning [30.392986232906107]
本稿では,基本的対象分解法とニューラルモジュールネットワークからなる統合フレームワークを提案する。
本手法は, 対象物の特徴に基づいて分解し, 幅広い対象物を表すプロトタイプを自動的に導出する。
これらのプロトタイプにより、提案するネットワークは、共通意味空間上でオブジェクトの類似性を測定することによって、オブジェクトを関連付ける。
トレーニング中の可利用性に関わらず、多様なオブジェクトで質問に答えることができ、偏りのある質問応答分布の問題を克服することができる。
論文 参考訳(メタデータ) (2023-03-18T19:37:28Z) - Do Deep Neural Networks Capture Compositionality in Arithmetic
Reasoning? [31.692400722222278]
算術的シンボリック推論において、構成性に関するスキルツリーを導入し、階層的な複雑性レベルと3つの構成性次元(体系性、生産性、置換性)を定義する。
実験の結果, 3種類の構成のうち, モデルが最も体系性に苦慮し, 比較的単純な構成でも性能が劣っていることが明らかとなった。
論文 参考訳(メタデータ) (2023-02-15T18:59:04Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Logic Tensor Networks [9.004005678155023]
学習と推論をサポートする神経シンボリック形式論と計算モデルであるLogic Networks(LTN)を提示する。
LTNがいくつかのAIタスクの仕様と計算に一様言語を提供することを示す。
論文 参考訳(メタデータ) (2020-12-25T22:30:18Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳(メタデータ) (2020-07-23T14:00:34Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。