論文の概要: Learning richness modulates equality reasoning in neural networks
- arxiv url: http://arxiv.org/abs/2503.09781v1
- Date: Wed, 12 Mar 2025 19:30:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-14 15:55:07.761609
- Title: Learning richness modulates equality reasoning in neural networks
- Title（参考訳）: 学習の豊かさはニューラルネットワークにおける平等推論を調節する
- Authors: William L. Tong, Cengiz Pehlevan,
- Abstract要約: 多層パーセプトロン(MLP)における等式推論の理論を開発する。
リッチレジムは概念的行動を示すが,遅延レジムは知覚的行動を示す。
我々の研究は、特徴学習の豊かさを重要なパラメータの平等推論として特定し、人間と動物の平等推論も同様に神経回路の学習に依存する可能性があることを示唆している。
- 参考スコア（独自算出の注目度）: 28.13046236900491
- License:
- Abstract: Equality reasoning is ubiquitous and purely abstract: sameness or difference may be evaluated no matter the nature of the underlying objects. As a result, same-different tasks (SD) have been extensively studied as a starting point for understanding abstract reasoning in humans and across animal species. With the rise of neural networks (NN) that exhibit striking apparent proficiency for abstractions, equality reasoning in NNs has also gained interest. Yet despite extensive study, conclusions about equality reasoning vary widely and with little consensus. To clarify the underlying principles in learning SD, we develop a theory of equality reasoning in multi-layer perceptrons (MLP). Following observations in comparative psychology, we propose a spectrum of behavior that ranges from conceptual to perceptual outcomes. Conceptual behavior is characterized by task-specific representations, efficient learning, and insensitivity to spurious perceptual details. Perceptual behavior is characterized by strong sensitivity to spurious perceptual details, accompanied by the need for exhaustive training to learn the task. We develop a mathematical theory to show that an MLP's behavior is driven by learning richness. Rich-regime MLPs exhibit conceptual behavior, whereas lazy-regime MLPs exhibit perceptual behavior. We validate our theoretical findings in vision SD experiments, showing that rich feature learning promotes success by encouraging hallmarks of conceptual behavior. Overall, our work identifies feature learning richness as a key parameter modulating equality reasoning, and suggests that equality reasoning in humans and animals may similarly depend on learning richness in neural circuits.
- Abstract（参考訳）: 等式推論はユビキタスで純粋に抽象的であり、基礎となる対象の性質に関係なく、同一性や相違性を評価することができる。
その結果、ヒトおよび動物種間の抽象的推論を理解する出発点として、同種差タスク(SD)が広く研究されている。
抽象化の明確な習熟度を示すニューラルネットワーク(NN)の台頭により、NNにおける平等推論も関心を集めている。
しかし、広範な研究にもかかわらず、平等推論に関する結論は広く、ほとんど合意が得られない。
SD学習の原理を明らかにするため,多層パーセプトロン(MLP)の等価性推論理論を開発した。
比較心理学における観察に続いて、概念から知覚的な結果まで幅広い行動スペクトルを提案する。
概念的行動は、タスク固有の表現、効率的な学習、そして刺激的な知覚的詳細に対する非感受性によって特徴づけられる。
知覚行動の特徴は、刺激的な知覚的詳細に対する強い感受性と、そのタスクを学ぶための徹底的な訓練の必要性である。
我々は,MLPの振る舞いが豊かさの学習によって引き起こされることを示す数学的理論を開発した。
リッチレジム MLP は概念的行動を示すが,遅延レジム MLP は知覚的行動を示す。
我々は,視覚SD実験における理論的知見を検証し,豊かな特徴学習が概念的行動の指標を奨励することによって成功を促進することを示した。
全体として、我々の研究は、特徴学習の豊かさを、平等推論を調節する重要なパラメータとして特定し、人間と動物の平等推論も同様に、ニューラルネットワークの学習豊かさに依存する可能性があることを示唆している。
関連論文リスト
- The Cognitive Revolution in Interpretability: From Explaining Behavior to Interpreting Representations and Algorithms [3.3653074379567096]
機械的解釈可能性(MI)は、大きな言語モデルのような基礎モデルによって学習された特徴と暗黙のアルゴリズムを研究する別の研究領域として登場した。
我々は、20世紀の心理学における「認知革命」を反映した深層学習解釈の移行を促進するために、現在の手法が熟していると論じる。
計算神経科学におけるキーパラレルを反映した分類法を提案し,MI研究の2つの幅広いカテゴリについて述べる。
論文 参考訳（メタデータ） (2024-08-11T20:50:16Z) - Learning mental states estimation through self-observation: a developmental synergy between intentions and beliefs representations in a deep-learning model of Theory of Mind [0.35154948148425685]
心の理論(りょうがく、英: Theory of Mind、ToM)とは、信念、意図、精神状態などを他人に関連付ける能力である。
我々は,低レベル精神状態を予測する学習と,高レベル精神状態に寄与する学習との間に発達的な相乗効果を示す。
我々は,人間の社会的認知発達の理解に,我々の計算的アプローチが役立つことを示唆する。
論文 参考訳（メタデータ） (2024-07-25T13:15:25Z) - Curriculum effects and compositionality emerge with in-context learning in neural networks [15.744573869783972]
In-context learning (ICL) が可能なネットワークは、ルールが支配するタスクにおいて、人間のような学習や構成の振る舞いを再現できることを示す。
我々の研究は、創発性ICLがニューラルネットワークに、伝統的に帰属するものと根本的に異なる学習特性を持たせる方法を示している。
論文 参考訳（メタデータ） (2024-02-13T18:55:27Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - A Novel Neural-symbolic System under Statistical Relational Learning [47.30190559449236]
NSF-SRLと呼ばれる統計的関係学習に基づくニューラルシンボリック・フレームワークを提案する。
シンボリック推論の結果は、深層学習モデルによる予測の洗練と修正に利用され、深層学習モデルはシンボリック推論プロセスの効率を高める。
我々は、このアプローチがニューラルシンボリックシステムの新しい標準となり、汎用人工知能の分野における将来の研究を促進すると信じている。
論文 参考訳（メタデータ） (2023-09-16T09:15:37Z) - Vector-based Representation is the Key: A Study on Disentanglement and
Compositional Generalization [77.57425909520167]
良質な概念認識と斬新な概念構成を両立させることが可能であることを示す。
本研究では,スカラーベース・アンタングル化作業のベクトルベース化を図り,両機能を向上する手法を提案する。
論文 参考訳（メタデータ） (2023-05-29T13:05:15Z) - The world seems different in a social context: a neural network analysis
of human experimental data [57.729312306803955]
本研究では,先行・知覚的信号の精度を変化させることで,個人・社会的タスク設定の両方で人間の行動データを再現可能であることを示す。
トレーニングされたネットワークの神経活性化トレースの分析は、情報が個人や社会的条件のネットワークにおいて、根本的に異なる方法でコード化されていることを示す。
論文 参考訳（メタデータ） (2022-03-03T17:19:12Z) - Neuro-Symbolic Forward Reasoning [19.417231973682366]
Neuro-Symbolic Forward Reasoner (NSFR) は、一階述語論理を用いた微分フォワードチェインを利用したタスク推論の新しいアプローチである。
鍵となるアイデアは、差別化可能なフォワードチェイン推論とオブジェクト中心(ディープ)学習を組み合わせることです。
論文 参考訳（メタデータ） (2021-10-18T15:14:58Z) - Bongard-LOGO: A New Benchmark for Human-Level Concept Learning and
Reasoning [78.13740873213223]
ボナード問題(BP)は、インテリジェントシステムにおける視覚認知へのインスピレーションとして導入された。
我々は人間レベルの概念学習と推論のための新しいベンチマークBongard-LOGOを提案する。
論文 参考訳（メタデータ） (2020-10-02T03:19:46Z) - Relational reasoning and generalization using non-symbolic neural
networks [66.07793171648161]
これまでの研究では、ニューラルネットワークは数学的同一性を表現することができないため、人間関係推論の適切なモデルではないことが示唆された。
ニューラルネットワークは、基本等式(数学的同一性)を学習し、(2)正のトレーニングインスタンスのみを持つ逐次等式問題(ABAパターンの学習シーケンス)、(3)基本等式トレーニングインスタンスのみを持つ複雑で階層的等式問題(英語版)を学習できる。
これらの結果は,データ駆動型,非記号的学習プロセスから,象徴的推論の本質的な側面が生まれることを示唆している。
論文 参考訳（メタデータ） (2020-06-14T18:25:42Z) - Cognitive Argumentation and the Suppression Task [1.027974860479791]
本稿では,認知論(Cognitive Argumentation)と呼ばれる新たなフレームワークにおいて,人間の推論をモデル化する上での課題について述べる。
このフレームワークは認知科学における経験的および理論的研究に基づく認知原理に依存しており、AIから計算議論の一般的かつ抽象的な枠組みを適応させる。
我々は、認知論は、人間の条件推論に一貫性があり、認知的に適切なモデルを提供すると論じている。
論文 参考訳（メタデータ） (2020-02-24T10:30:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。