論文の概要: Human Curriculum Effects Emerge with In-Context Learning in Neural Networks

• arxiv url: http://arxiv.org/abs/2402.08674v1
• Date: Tue, 13 Feb 2024 18:55:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 14:05:08.224985
• Title: Human Curriculum Effects Emerge with In-Context Learning in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるインコンテキスト学習による人間のカリキュラム効果
• Authors: Jacob Russin, Ellie Pavlick, Michael J. Frank
• Abstract要約: 簡潔な規則によって管理されるタスクでは、関連する例が試行錯誤によってブロックされる場合、学習はより堅牢になるが、そのような規則がなければインターリービングはより効果的である。 メタラーニングで訓練されたニューラルネットワークと大規模言語モデル(LLM)の両方において、この同じトレードオフが「コンテキスト内学習(ICL)」によって自然に現れることを示す。 事前訓練されたLLMとメタラーニングトランスフォーマーを用いた実験では、ICLはルールのような構造を含むタスクにおいて人間に示されるブロッキングの利点を示し、逆に、同時重み付き学習は、そのような構造を欠いたタスクにおいてヒトに観察されるインターリーブの利点を再現することを示した。
• 参考スコア（独自算出の注目度）: 17.69532318920725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human learning is sensitive to rule-like structure and the curriculum of examples used for training. In tasks governed by succinct rules, learning is more robust when related examples are blocked across trials, but in the absence of such rules, interleaving is more effective. To date, no neural model has simultaneously captured these seemingly contradictory effects. Here we show that this same tradeoff spontaneously emerges with "in-context learning" (ICL) both in neural networks trained with metalearning and in large language models (LLMs). ICL is the ability to learn new tasks "in context" - without weight changes - via an inner-loop algorithm implemented in activation dynamics. Experiments with pretrained LLMs and metalearning transformers show that ICL exhibits the blocking advantage demonstrated in humans on a task involving rule-like structure, and conversely, that concurrent in-weight learning reproduces the interleaving advantage observed in humans on tasks lacking such structure.
• Abstract（参考訳）: 人間の学習は規則のような構造と訓練に使用される例のカリキュラムに敏感である。 簡潔な規則によって管理されるタスクでは、関連する例が試行錯誤によってブロックされると学習がより堅牢になるが、そのような規則がなければインターリービングの方が効果的である。 これまで、これらの一見矛盾した効果を同時に捉えた神経モデルはない。 ここでは、メタラーニングで訓練されたニューラルネットワークと大規模言語モデル(LLM)の両方において、この同じトレードオフが「コンテキスト内学習(ICL)」によって自然に現れることを示す。 ICLは、アクティベーションダイナミクスで実装されたインナーループアルゴリズムを通じて、重み付けなしで、コンテキスト内で新しいタスクを学習する機能である。 事前訓練されたLLMとメタラーニングトランスフォーマーを用いた実験では、ICLはルールのような構造を含むタスクにおいて人間に示されるブロッキングの利点を示し、逆に、同時に重み付き学習は、そのような構造を持たないタスクにおいて人間に観察されるインターリービングの利点を再現する。

関連論文リスト

• From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
  人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。 以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。 これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
  論文  参考訳（メタデータ） (2024-09-22T23:19:04Z)
• From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks [0.0]
  我々は、哲学、認知科学、神経科学の幅広い読者のために、機械学習による最近の経験的研究をレビューする。 特に,我々は,合成一般化機能を備えたニューラルネットワークを実現するための2つのアプローチを強調した。 これらの発見が人間の認知における構成性の研究にもたらす意味について論じる。
  論文  参考訳（メタデータ） (2024-05-24T02:36:07Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Abrupt and spontaneous strategy switches emerge in simple regularised neural networks [8.737068885923348]
  単純な人工ニューラルネットワークにおいて、洞察的な振る舞いが生じるかどうかを考察する。 ネットワークアーキテクチャと学習力学の分析により、洞察的な振る舞いは規則化されたゲーティング機構に大きく依存していることが判明した。 このことは、単純なニューラルネットワークにおける漸進的な学習から、洞察のような振る舞いが自然に生じることを示唆している。
  論文  参考訳（メタデータ） (2023-02-22T12:48:45Z)
• Continual Learning, Fast and Slow [75.53144246169346]
  補完学習システム理論(Complementary Learning Systems theory)によれば、人間は2つの相補的なシステムを通して効果的な共連続学習を行う。 EmphDualNets(Dual Networks)は、タスクの教師付き学習のための高速学習システムと、自己監視学習(SSL)によるタスク非依存の汎用表現の表現学習のための遅い学習システムからなる、一般的な連続学習フレームワークである。 我々はDualNetsの有望な成果を、標準的なオフラインタスク認識設定から、オンラインタスクフリーシナリオまで、幅広い連続的な学習プロトコルで実証する。
  論文  参考訳（メタデータ） (2022-09-06T10:48:45Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• Complementary Structure-Learning Neural Networks for Relational Reasoning [3.528645587678267]
  海馬におけるパターン分離は,新しい環境下での迅速な学習を可能にすることを示す。 ネオコルテックスのゆっくりとした学習は、よく学習された環境から体系的な構造を抽出するために小さな重量変化を蓄積する。
  論文  参考訳（メタデータ） (2021-05-19T06:25:21Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Equilibrium Propagation for Complete Directed Neural Networks [0.0]
  最も成功したニューラルネットワークの学習アルゴリズム、バックプロパゲーションは生物学的に不可能であると考えられている。 我々は,平衡伝播学習の枠組みを構築し拡張することによって,生物学的に妥当な神経学習の話題に貢献する。
  論文  参考訳（メタデータ） (2020-06-15T22:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。