論文の概要: From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks

• arxiv url: http://arxiv.org/abs/2405.15164v1
• Date: Fri, 24 May 2024 02:36:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 18:18:44.246530
• Title: From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks
• Title（参考訳）: FregeからチャットGPTへ:言語、認知、ディープニューラルネットワークにおける構成性
• Authors: Jacob Russin, Sam Whitman McGrath, Danielle J. Williams, Lotem Elber-Dorozko,
• Abstract要約: 我々は、哲学、認知科学、神経科学の幅広い読者のために、機械学習による最近の経験的研究をレビューする。 特に,我々は,合成一般化機能を備えたニューラルネットワークを実現するための2つのアプローチを強調した。 これらの発見が人間の認知における構成性の研究にもたらす意味について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositionality has long been considered a key explanatory property underlying human intelligence: arbitrary concepts can be composed into novel complex combinations, permitting the acquisition of an open ended, potentially infinite expressive capacity from finite learning experiences. Influential arguments have held that neural networks fail to explain this aspect of behavior, leading many to dismiss them as viable models of human cognition. Over the last decade, however, modern deep neural networks (DNNs), which share the same fundamental design principles as their predecessors, have come to dominate artificial intelligence, exhibiting the most advanced cognitive behaviors ever demonstrated in machines. In particular, large language models (LLMs), DNNs trained to predict the next word on a large corpus of text, have proven capable of sophisticated behaviors such as writing syntactically complex sentences without grammatical errors, producing cogent chains of reasoning, and even writing original computer programs -- all behaviors thought to require compositional processing. In this chapter, we survey recent empirical work from machine learning for a broad audience in philosophy, cognitive science, and neuroscience, situating recent breakthroughs within the broader context of philosophical arguments about compositionality. In particular, our review emphasizes two approaches to endowing neural networks with compositional generalization capabilities: (1) architectural inductive biases, and (2) metalearning, or learning to learn. We also present findings suggesting that LLM pretraining can be understood as a kind of metalearning, and can thereby equip DNNs with compositional generalization abilities in a similar way. We conclude by discussing the implications that these findings may have for the study of compositionality in human cognition and by suggesting avenues for future research.
• Abstract（参考訳）: 任意の概念は、新しい複雑な組み合わせに構成することができ、有限の学習経験から無限の表現能力を得ることができる。 ニューラルネットワークは行動のこの側面を説明するのに失敗し、多くの人がそれを人間の認知の実行可能なモデルとして排除している。 しかし、過去10年間で、前任者と同じ基本設計原則を共有する現代のディープニューラルネットワーク(DNN)が人工知能を支配し、マシンで実証された最も高度な認知行動を示している。 特に、大きな言語モデル(LLM)やDNNは、大きなテキストのコーパスで次の単語を予測する訓練を受けており、文法的な誤りなしに構文的に複雑な文を書くこと、推論のコジェント連鎖を生成すること、オリジナルのコンピュータプログラムを書くことなど、複雑な振る舞いが可能であることを証明している。 本章では、哲学、認知科学、神経科学の幅広い読者を対象に、機械学習による最近の経験的な研究を調査し、構成性に関する哲学的議論のより広い文脈において、最近のブレークスルーを考察する。 特に,構成的一般化機能を備えたニューラルネットワークを実現するためのアプローチとして,(1)アーキテクチャ的帰納的バイアス,(2)メタラーニング,あるいは学習学習の2つを強調した。 また,LLMプレトレーニングはメタラーニングの一種として理解でき,DNNに合成一般化能力を持たせることが可能であることが示唆された。 本研究は,人間の認知における構成性の研究や,今後の研究への道筋を提案することによって,これらの知見が持つ意味について論じる。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大型言語モデル(LLM)における人間に似た概念表現の出現について検討した。 その結果、LLMは定義記述から概念を推論し、共有された文脈に依存しない構造に収束する表現空間を構築することができた。 我々の研究は、LLMが複雑な人間の認知を理解するための貴重なツールであり、人工知能と人間の知能の整合性を高めるための道を開くという見解を支持している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• Curriculum effects and compositionality emerge with in-context learning in neural networks [15.744573869783972]
  In-context learning (ICL) が可能なネットワークは、ルールが支配するタスクにおいて、人間のような学習や構成の振る舞いを再現できることを示す。 我々の研究は、創発性ICLがニューラルネットワークに、伝統的に帰属するものと根本的に異なる学習特性を持たせる方法を示している。
  論文  参考訳（メタデータ） (2024-02-13T18:55:27Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Rejecting Cognitivism: Computational Phenomenology for Deep Learning [5.070542698701158]
  本稿では,新しい手法である計算現象学に基づくディープラーニングのための非表現主義的フレームワークを提案する。 我々は、人工知能が外部エンティティの表現を符号化する深層学習の現代の認知論的解釈を拒絶する。
  論文  参考訳（メタデータ） (2023-02-16T20:05:06Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)
• Revisit Systematic Generalization via Meaningful Learning [15.90288956294373]
  最近の研究は、ニューラルネットワークはそのような認知能力に本質的に効果がないように見えると主張している。 新しい概念と古い概念のセマンティックリンクを条件としたシーケンス・ツー・シーケンス・モデルの合成スキルを再評価する。
  論文  参考訳（メタデータ） (2020-03-14T15:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。