論文の概要: Fodor and Pylyshyn's Legacy -- Still No Human-like Systematic Compositionality in Neural Networks
- arxiv url: http://arxiv.org/abs/2506.01820v1
- Date: Mon, 02 Jun 2025 16:02:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:34.60107
- Title: Fodor and Pylyshyn's Legacy -- Still No Human-like Systematic Compositionality in Neural Networks
- Title(参考訳): Fodor and Pylyshyn's Legacy -- ニューラルネットワークにおける人間のような体系的な構成性はいまだにない
- Authors: Tim Woydt, Moritz Willig, Antonia Wüst, Lukas Helff, Wolfgang Stammer, Constantin A. Rothkopf, Kristian Kersting,
- Abstract要約: 現代のニューラルなメタラーニングシステムは、メタラーニング設定の非常に狭く制限された定義の下では、そのようなタスクしか実行できない、と我々は主張する。
我々は、フォーダーとピリシンの遺産は存続し、現在まで、ニューラルネットワークで学習された人間のような体系的な構成性は存在しないと主張している。
- 参考スコア(独自算出の注目度): 22.014375474803813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Strong meta-learning capabilities for systematic compositionality are emerging as an important skill for navigating the complex and changing tasks of today's world. However, in presenting models for robust adaptation to novel environments, it is important to refrain from making unsupported claims about the performance of meta-learning systems that ultimately do not stand up to scrutiny. While Fodor and Pylyshyn famously posited that neural networks inherently lack this capacity as they are unable to model compositional representations or structure-sensitive operations, and thus are not a viable model of the human mind, Lake and Baroni recently presented meta-learning as a pathway to compositionality. In this position paper, we critically revisit this claim and highlight limitations in the proposed meta-learning framework for compositionality. Our analysis shows that modern neural meta-learning systems can only perform such tasks, if at all, under a very narrow and restricted definition of a meta-learning setup. We therefore claim that `Fodor and Pylyshyn's legacy' persists, and to date, there is no human-like systematic compositionality learned in neural networks.
- Abstract(参考訳): 体系的な構成性のための強力なメタ学習能力は、今日の世界の複雑なタスクをナビゲートし変化させる重要なスキルとして現れています。
しかし、新しい環境への頑健な適応モデルを示す際には、究極的には精査に支障をきたさないメタラーニングシステムの性能についての主張を控えることが重要である。
Fodor と Pylyshyn は、ニューラルネットワークが構成表現や構造に敏感な操作をモデル化できないため、本質的にこの能力が欠如していることが知られているが、Lake と Baroni は近年、構成性の経路としてメタラーニングを提示した。
本稿では,この主張を批判的に再考し,構成性に関するメタラーニングフレームワークの限界を強調する。
我々の分析によると、現代のニューラルメタ学習システムは、メタ学習設定の非常に狭く制限された定義の下では、そのようなタスクしか実行できない。
したがって、Fodor and Pylyshyn's legacy'(フォーダーとピリシンの遺産)は存続し、これまでにニューラルネットワークで学習された人間のような体系的な構成性は存在しない。
関連論文リスト
- Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning [59.35015431695172]
本稿では,半パラメトリックメモリと覚醒・睡眠統合機構を統合したバイオミメティック連続学習フレームワークを提案する。
提案手法は,実世界の挑戦的連続学習シナリオにおいて,先行知識を維持しつつ,新しいタスクにおけるディープニューラルネットワークの高性能維持を可能にする。
論文 参考訳(メタデータ) (2025-04-20T19:53:13Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳(メタデータ) (2024-09-17T04:48:45Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳(メタデータ) (2024-06-24T14:50:05Z) - Fundamental Components of Deep Learning: A category-theoretic approach [0.0]
この論文は、カテゴリ理論の言語に基づく、ディープラーニングのための新しい数学的基礎を発展させている。
我々はまた、既存の多くのアプローチを体系化し、多くの既存の構成と概念を同じ傘の下に置きます。
論文 参考訳(メタデータ) (2024-03-13T01:29:40Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳(メタデータ) (2022-10-06T23:50:38Z) - Learning to Modulate Random Weights: Neuromodulation-inspired Neural
Networks For Efficient Continual Learning [1.9580473532948401]
生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
論文 参考訳(メタデータ) (2022-04-08T21:12:13Z) - Learning to acquire novel cognitive tasks with evolution, plasticity and
meta-meta-learning [3.8073142980733]
メタラーニングでは、ネットワークは外部アルゴリズムでトレーニングされ、タスクの新しいインスタンスごとに予測不可能な情報を取得し、保存し、活用する必要があるタスクを学習する。
ここでは、神経科学モデリングフレームワークに基づく単純なメタ学習タスクのセットで、プラスティック接続を備えたニューラルネットワークを進化させます。
進化したネットワークは、進化した神経組織と塑性構造を自発的に操作することで、トレーニング中に見ることのない、新しい単純な認知タスクを自動的に取得することができる。
論文 参考訳(メタデータ) (2021-12-16T03:18:01Z) - Collective Intelligence for Deep Learning: A Survey of Recent
Developments [11.247894240593691]
我々は、複雑なシステムへのニューラルネットワーク研究の関与に関する歴史的文脈を提供する。
我々は,集合知の原理を取り入れた,現代のディープラーニング研究の活発な領域をいくつか取り上げる。
論文 参考訳(メタデータ) (2021-11-29T08:39:32Z) - Online Structured Meta-learning [137.48138166279313]
現在のオンラインメタ学習アルゴリズムは、グローバルに共有されたメタラーナーを学ぶために限られている。
この制限を克服するオンライン構造化メタラーニング(OSML)フレームワークを提案する。
3つのデータセットの実験は、提案フレームワークの有効性と解釈可能性を示している。
論文 参考訳(メタデータ) (2020-10-22T09:10:31Z) - Direct Feedback Alignment Scales to Modern Deep Learning Tasks and
Architectures [22.438735897480417]
本稿では,ニューラルビュー合成,レコメンダシステム,幾何学学習,自然言語処理へのダイレクトフィードバックアライメントの適用性について検討する。
以上の結果から,最先端のディープラーニングアーキテクチャの訓練に成功し,その性能は微調整されたバックプロパゲーションに近いことがわかった。
論文 参考訳(メタデータ) (2020-06-23T10:17:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。