論文の概要: From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks

• arxiv url: http://arxiv.org/abs/2405.15164v1
• Date: Fri, 24 May 2024 02:36:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 18:18:44.246530
• Title: From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks
• Title（参考訳）: FregeからチャットGPTへ:言語、認知、ディープニューラルネットワークにおける構成性
• Authors: Jacob Russin, Sam Whitman McGrath, Danielle J. Williams, Lotem Elber-Dorozko,
• Abstract要約: 我々は、哲学、認知科学、神経科学の幅広い読者のために、機械学習による最近の経験的研究をレビューする。 特に,我々は,合成一般化機能を備えたニューラルネットワークを実現するための2つのアプローチを強調した。 これらの発見が人間の認知における構成性の研究にもたらす意味について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositionality has long been considered a key explanatory property underlying human intelligence: arbitrary concepts can be composed into novel complex combinations, permitting the acquisition of an open ended, potentially infinite expressive capacity from finite learning experiences. Influential arguments have held that neural networks fail to explain this aspect of behavior, leading many to dismiss them as viable models of human cognition. Over the last decade, however, modern deep neural networks (DNNs), which share the same fundamental design principles as their predecessors, have come to dominate artificial intelligence, exhibiting the most advanced cognitive behaviors ever demonstrated in machines. In particular, large language models (LLMs), DNNs trained to predict the next word on a large corpus of text, have proven capable of sophisticated behaviors such as writing syntactically complex sentences without grammatical errors, producing cogent chains of reasoning, and even writing original computer programs -- all behaviors thought to require compositional processing. In this chapter, we survey recent empirical work from machine learning for a broad audience in philosophy, cognitive science, and neuroscience, situating recent breakthroughs within the broader context of philosophical arguments about compositionality. In particular, our review emphasizes two approaches to endowing neural networks with compositional generalization capabilities: (1) architectural inductive biases, and (2) metalearning, or learning to learn. We also present findings suggesting that LLM pretraining can be understood as a kind of metalearning, and can thereby equip DNNs with compositional generalization abilities in a similar way. We conclude by discussing the implications that these findings may have for the study of compositionality in human cognition and by suggesting avenues for future research.
• Abstract（参考訳）: 任意の概念は、新しい複雑な組み合わせに構成することができ、有限の学習経験から無限の表現能力を得ることができる。 ニューラルネットワークは行動のこの側面を説明するのに失敗し、多くの人がそれを人間の認知の実行可能なモデルとして排除している。 しかし、過去10年間で、前任者と同じ基本設計原則を共有する現代のディープニューラルネットワーク(DNN)が人工知能を支配し、マシンで実証された最も高度な認知行動を示している。 特に、大きな言語モデル(LLM)やDNNは、大きなテキストのコーパスで次の単語を予測する訓練を受けており、文法的な誤りなしに構文的に複雑な文を書くこと、推論のコジェント連鎖を生成すること、オリジナルのコンピュータプログラムを書くことなど、複雑な振る舞いが可能であることを証明している。 本章では、哲学、認知科学、神経科学の幅広い読者を対象に、機械学習による最近の経験的な研究を調査し、構成性に関する哲学的議論のより広い文脈において、最近のブレークスルーを考察する。 特に,構成的一般化機能を備えたニューラルネットワークを実現するためのアプローチとして,(1)アーキテクチャ的帰納的バイアス,(2)メタラーニング,あるいは学習学習の2つを強調した。 また,LLMプレトレーニングはメタラーニングの一種として理解でき,DNNに合成一般化能力を持たせることが可能であることが示唆された。 本研究は,人間の認知における構成性の研究や,今後の研究への道筋を提案することによって,これらの知見が持つ意味について論じる。

関連論文リスト

• Curriculum effects and compositionality emerge with in-context learning in neural networks [15.744573869783972]
  In-context learning (ICL) が可能なネットワークは、ルールが支配するタスクにおいて、人間のような学習や構成の振る舞いを再現できることを示す。 我々の研究は、創発性ICLがニューラルネットワークに、伝統的に帰属するものと根本的に異なる学習特性を持たせる方法を示している。
  論文  参考訳（メタデータ） (2024-02-13T18:55:27Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Rejecting Cognitivism: Computational Phenomenology for Deep Learning [5.070542698701158]
  本稿では,新しい手法である計算現象学に基づくディープラーニングのための非表現主義的フレームワークを提案する。 我々は、人工知能が外部エンティティの表現を符号化する深層学習の現代の認知論的解釈を拒絶する。
  論文  参考訳（メタデータ） (2023-02-16T20:05:06Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)
• Revisit Systematic Generalization via Meaningful Learning [15.90288956294373]
  最近の研究は、ニューラルネットワークはそのような認知能力に本質的に効果がないように見えると主張している。 新しい概念と古い概念のセマンティックリンクを条件としたシーケンス・ツー・シーケンス・モデルの合成スキルを再評価する。
  論文  参考訳（メタデータ） (2020-03-14T15:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。