論文の概要: Human Curriculum Effects Emerge with In-Context Learning in Neural Networks

• arxiv url: http://arxiv.org/abs/2402.08674v1
• Date: Tue, 13 Feb 2024 18:55:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-14 14:05:08.224985
• Title: Human Curriculum Effects Emerge with In-Context Learning in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるインコンテキスト学習による人間のカリキュラム効果
• Authors: Jacob Russin, Ellie Pavlick, Michael J. Frank
• Abstract要約: 簡潔な規則によって管理されるタスクでは、関連する例が試行錯誤によってブロックされる場合、学習はより堅牢になるが、そのような規則がなければインターリービングはより効果的である。 メタラーニングで訓練されたニューラルネットワークと大規模言語モデル(LLM)の両方において、この同じトレードオフが「コンテキスト内学習(ICL)」によって自然に現れることを示す。 事前訓練されたLLMとメタラーニングトランスフォーマーを用いた実験では、ICLはルールのような構造を含むタスクにおいて人間に示されるブロッキングの利点を示し、逆に、同時重み付き学習は、そのような構造を欠いたタスクにおいてヒトに観察されるインターリーブの利点を再現することを示した。
• 参考スコア（独自算出の注目度）: 17.69532318920725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human learning is sensitive to rule-like structure and the curriculum of examples used for training. In tasks governed by succinct rules, learning is more robust when related examples are blocked across trials, but in the absence of such rules, interleaving is more effective. To date, no neural model has simultaneously captured these seemingly contradictory effects. Here we show that this same tradeoff spontaneously emerges with "in-context learning" (ICL) both in neural networks trained with metalearning and in large language models (LLMs). ICL is the ability to learn new tasks "in context" - without weight changes - via an inner-loop algorithm implemented in activation dynamics. Experiments with pretrained LLMs and metalearning transformers show that ICL exhibits the blocking advantage demonstrated in humans on a task involving rule-like structure, and conversely, that concurrent in-weight learning reproduces the interleaving advantage observed in humans on tasks lacking such structure.
• Abstract（参考訳）: 人間の学習は規則のような構造と訓練に使用される例のカリキュラムに敏感である。 簡潔な規則によって管理されるタスクでは、関連する例が試行錯誤によってブロックされると学習がより堅牢になるが、そのような規則がなければインターリービングの方が効果的である。 これまで、これらの一見矛盾した効果を同時に捉えた神経モデルはない。 ここでは、メタラーニングで訓練されたニューラルネットワークと大規模言語モデル(LLM)の両方において、この同じトレードオフが「コンテキスト内学習(ICL)」によって自然に現れることを示す。 ICLは、アクティベーションダイナミクスで実装されたインナーループアルゴリズムを通じて、重み付けなしで、コンテキスト内で新しいタスクを学習する機能である。 事前訓練されたLLMとメタラーニングトランスフォーマーを用いた実験では、ICLはルールのような構造を含むタスクにおいて人間に示されるブロッキングの利点を示し、逆に、同時に重み付き学習は、そのような構造を持たないタスクにおいて人間に観察されるインターリービングの利点を再現する。

関連論文リスト

• Feature Learning beyond the Lazy-Rich Dichotomy: Insights from Representational Geometry [7.517013801971377]
  本稿では,特徴学習のための表現幾何学に基づく分析フレームワークを提案する。 ネットワークがタスクを解くのに有用な特徴を学習すると、タスク関連多様体は次第に無秩序になる。 基礎となる多様体幾何の変化を追跡することにより、トレーニングを通して異なる学習段階を明らかにする。
  論文  参考訳（メタデータ） (2025-03-23T15:39:56Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
  人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。 以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。 これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
  論文  参考訳（メタデータ） (2024-09-22T23:19:04Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks [0.0]
  我々は、哲学、認知科学、神経科学の幅広い読者のために、機械学習による最近の経験的研究をレビューする。 特に,我々は,合成一般化機能を備えたニューラルネットワークを実現するための2つのアプローチを強調した。 これらの発見が人間の認知における構成性の研究にもたらす意味について論じる。
  論文  参考訳（メタデータ） (2024-05-24T02:36:07Z)
• Learning the Plasticity: Plasticity-Driven Learning Framework in Spiking Neural Networks [9.25919593660244]
  スパイクニューラルネットワーク(SNN)の新しいパラダイム 塑性駆動学習フレームワーク(PDLF) PDLFは機能的およびシナプス依存的塑性の概念を再定義する。
  論文  参考訳（メタデータ） (2023-08-23T11:11:31Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Abrupt and spontaneous strategy switches emerge in simple regularised neural networks [8.737068885923348]
  単純な人工ニューラルネットワークにおいて、洞察的な振る舞いが生じるかどうかを考察する。 ネットワークアーキテクチャと学習力学の分析により、洞察的な振る舞いは規則化されたゲーティング機構に大きく依存していることが判明した。 このことは、単純なニューラルネットワークにおける漸進的な学習から、洞察のような振る舞いが自然に生じることを示唆している。
  論文  参考訳（メタデータ） (2023-02-22T12:48:45Z)
• Continual Learning, Fast and Slow [75.53144246169346]
  補完学習システム理論(Complementary Learning Systems theory)によれば、人間は2つの相補的なシステムを通して効果的な共連続学習を行う。 EmphDualNets(Dual Networks)は、タスクの教師付き学習のための高速学習システムと、自己監視学習(SSL)によるタスク非依存の汎用表現の表現学習のための遅い学習システムからなる、一般的な連続学習フレームワークである。 我々はDualNetsの有望な成果を、標準的なオフラインタスク認識設定から、オンラインタスクフリーシナリオまで、幅広い連続的な学習プロトコルで実証する。
  論文  参考訳（メタデータ） (2022-09-06T10:48:45Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• Complementary Structure-Learning Neural Networks for Relational Reasoning [3.528645587678267]
  海馬におけるパターン分離は,新しい環境下での迅速な学習を可能にすることを示す。 ネオコルテックスのゆっくりとした学習は、よく学習された環境から体系的な構造を抽出するために小さな重量変化を蓄積する。
  論文  参考訳（メタデータ） (2021-05-19T06:25:21Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Equilibrium Propagation for Complete Directed Neural Networks [0.0]
  最も成功したニューラルネットワークの学習アルゴリズム、バックプロパゲーションは生物学的に不可能であると考えられている。 我々は,平衡伝播学習の枠組みを構築し拡張することによって,生物学的に妥当な神経学習の話題に貢献する。
  論文  参考訳（メタデータ） (2020-06-15T22:12:30Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。