論文の概要: Human Curriculum Effects Emerge with In-Context Learning in Neural
Networks
- arxiv url: http://arxiv.org/abs/2402.08674v1
- Date: Tue, 13 Feb 2024 18:55:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 14:05:08.224985
- Title: Human Curriculum Effects Emerge with In-Context Learning in Neural
Networks
- Title(参考訳): ニューラルネットワークにおけるインコンテキスト学習による人間のカリキュラム効果
- Authors: Jacob Russin, Ellie Pavlick, Michael J. Frank
- Abstract要約: 簡潔な規則によって管理されるタスクでは、関連する例が試行錯誤によってブロックされる場合、学習はより堅牢になるが、そのような規則がなければインターリービングはより効果的である。
メタラーニングで訓練されたニューラルネットワークと大規模言語モデル(LLM)の両方において、この同じトレードオフが「コンテキスト内学習(ICL)」によって自然に現れることを示す。
事前訓練されたLLMとメタラーニングトランスフォーマーを用いた実験では、ICLはルールのような構造を含むタスクにおいて人間に示されるブロッキングの利点を示し、逆に、同時重み付き学習は、そのような構造を欠いたタスクにおいてヒトに観察されるインターリーブの利点を再現することを示した。
- 参考スコア(独自算出の注目度): 17.69532318920725
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human learning is sensitive to rule-like structure and the curriculum of
examples used for training. In tasks governed by succinct rules, learning is
more robust when related examples are blocked across trials, but in the absence
of such rules, interleaving is more effective. To date, no neural model has
simultaneously captured these seemingly contradictory effects. Here we show
that this same tradeoff spontaneously emerges with "in-context learning" (ICL)
both in neural networks trained with metalearning and in large language models
(LLMs). ICL is the ability to learn new tasks "in context" - without weight
changes - via an inner-loop algorithm implemented in activation dynamics.
Experiments with pretrained LLMs and metalearning transformers show that ICL
exhibits the blocking advantage demonstrated in humans on a task involving
rule-like structure, and conversely, that concurrent in-weight learning
reproduces the interleaving advantage observed in humans on tasks lacking such
structure.
- Abstract(参考訳): 人間の学習は規則のような構造と訓練に使用される例のカリキュラムに敏感である。
簡潔な規則によって管理されるタスクでは、関連する例が試行錯誤によってブロックされると学習がより堅牢になるが、そのような規則がなければインターリービングの方が効果的である。
これまで、これらの一見矛盾した効果を同時に捉えた神経モデルはない。
ここでは、メタラーニングで訓練されたニューラルネットワークと大規模言語モデル(LLM)の両方において、この同じトレードオフが「コンテキスト内学習(ICL)」によって自然に現れることを示す。
ICLは、アクティベーションダイナミクスで実装されたインナーループアルゴリズムを通じて、重み付けなしで、コンテキスト内で新しいタスクを学習する機能である。
事前訓練されたLLMとメタラーニングトランスフォーマーを用いた実験では、ICLはルールのような構造を含むタスクにおいて人間に示されるブロッキングの利点を示し、逆に、同時に重み付き学習は、そのような構造を持たないタスクにおいて人間に観察されるインターリービングの利点を再現する。
関連論文リスト
- The mechanistic basis of data dependence and abrupt learning in an
in-context classification task [0.3626013617212666]
本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。
インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。
注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
論文 参考訳(メタデータ) (2023-12-03T20:53:41Z) - In-Context Learning Dynamics with Random Binary Sequences [16.645695664776433]
テキスト内学習のダイナミクスを解析できるフレームワークを提案する。
人間の知覚の認知科学に触発されて、ランダムなバイナリシーケンスをコンテキストとして使用する。
最新のGPT-3.5+モデルでは、一見ランダムな数を生成し、基本形式言語を学習する創発的な能力を見出す。
論文 参考訳(メタデータ) (2023-10-26T17:54:52Z) - Breaking through the learning plateaus of in-context learning in
Transformer [46.73131236261085]
文脈学習(In-context learning)、すなわち文脈の例から学ぶことは、Transformerの印象的な能力である。
この文脈内学習スキルを持つための学習用トランスフォーマーは、学習台地の発生により、計算集約的である。
論文 参考訳(メタデータ) (2023-09-12T08:45:25Z) - Latent State Models of Training Dynamics [51.88132043461152]
異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。
次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。
我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
論文 参考訳(メタデータ) (2023-08-18T13:20:08Z) - Learning to Modulate Random Weights: Neuromodulation-inspired Neural
Networks For Efficient Continual Learning [1.9580473532948401]
生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
論文 参考訳(メタデータ) (2022-04-08T21:12:13Z) - Ensemble plasticity and network adaptability in SNNs [0.726437825413781]
人工スパイキングニューラルネットワーク(ASNN)は、離散的なイベントベース(スパイク)計算のため、より優れた情報処理効率を約束する。
本研究では,スパイク活動のみを用いたエントロピーとネットワークアクティベーションに基づく新しいアンサンブル学習手法を提案する。
その結果, スパイクレートの低いニューロンクラスターを刈り取ると, 一般化や性能の低下が予想されることがわかった。
論文 参考訳(メタデータ) (2022-03-11T01:14:51Z) - Autonomous Reinforcement Learning: Formalism and Benchmarking [106.25788536376007]
人間や動物が行うような現実世界の具体的学習は、連続的で非エポゾディックな世界にある。
RLの一般的なベンチマークタスクはエピソジックであり、試行錯誤によってエージェントに複数の試行を行う環境がリセットされる。
この相違は、擬似環境向けに開発されたRLアルゴリズムを現実世界のプラットフォーム上で実行しようとする場合、大きな課題となる。
論文 参考訳(メタデータ) (2021-12-17T16:28:06Z) - Reinforcement Learning with External Knowledge by using Logical Neural
Networks [67.46162586940905]
論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。
外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
論文 参考訳(メタデータ) (2021-03-03T12:34:59Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳(メタデータ) (2020-05-20T16:56:08Z) - Never Stop Learning: The Effectiveness of Fine-Tuning in Robotic
Reinforcement Learning [109.77163932886413]
本稿では,ロボットによるロボット操作ポリシーを,政治以外の強化学習を通じて微調整することで,新たなバリエーションに適応する方法を示す。
この適応は、タスクをゼロから学習するために必要なデータの0.2%未満を使用する。
事前訓練されたポリシーを適用するという私たちのアプローチは、微調整の過程で大きなパフォーマンス向上につながります。
論文 参考訳(メタデータ) (2020-04-21T17:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。