論文の概要: Curriculum unlearning in humans and neural networks
- arxiv url: http://arxiv.org/abs/2611.04565v1
- Date: Tue, 03 Nov 2026 09:27:50 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:52:17.57958
- Title: Curriculum unlearning in humans and neural networks
- Title（参考訳）: 人間とニューラルネットワークのカリキュラムアンラーニング
- Abstract要約: 学習中、人間とニューラルネットワークの両方が単純さのバイアスを示します。
ニューラルネットワークでは、このバイアスは神経表現の圧縮を伴う。
簡単なタスクに事前出力され、圧縮された初期表現を持つ学習者は、キュリキュラの恩恵を受けることができる。
- 参考スコア（独自算出の注目度）: 1.8595581768106364
- License:
- Abstract: During learning, humans often benefit from curricula that teach simple rules before exceptions. However, we lack a computational explanation for this phenomenon. Here, using a canonical behavioural task and modelling with neural networks, we develop and test a theory for why simple-to-complex curricula succeed. We show that during learning, both humans and neural networks show simplicity biases, a tendency to learn simple rules that are underfit to the data. In neural networks this bias is accompanied by compression of neural representations. Simple-to-complex curricula help both types of learners overcome this compression, developing representations (and policy) with appropriate dimensionality for the task. We test and confirm a further prediction from this theory: learners that have been pre-exposed to simple tasks and with more compressed initial representations benefit more from curricula. These findings suggest that curricula help with ``unlearning'' of simple rules.
- Abstract（参考訳）: 学習中、人間は例外の前に単純な規則を教えるカリキュラムの恩恵を受けることが多い。
しかし、この現象の計算的な説明は欠如している。
ここでは、標準的な振る舞いタスクを用いてニューラルネットワークをモデル化し、なぜ単純・複雑キュリキュラが成功するのかの理論を開発し、検証する。
学習中、人間とニューラルネットワークの両方が単純さのバイアスを示し、データに不適な単純なルールを学習する傾向を示す。
ニューラルネットワークでは、このバイアスは神経表現の圧縮を伴う。
単純な複雑なカリキュラムは、両方の学習者がこの圧縮を克服し、タスクに適切な次元を持つ表現(およびポリシー)を開発するのに役立つ。
簡単なタスクに事前出力され、圧縮された初期表現を持つ学習者は、キュリキュラの恩恵を受けることができる。
これらの結果から,カリキュラムは簡単なルールの'アンラーニング'に役立つことが示唆された。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Hebbian Continual Representation Learning [9.54473759331265]
継続的学習は、より現実的なシナリオに機械学習をもたらすことを目的としています。
生物学的にインスパイアされたヘビアン学習が継続的な課題に対処するのに有用かどうかを検討する。
論文 参考訳（メタデータ） (2022-06-28T09:21:03Z) - Meet You Halfway: Explaining Deep Learning Mysteries [0.0]
本稿では,ネットワークの振舞いに光を当てることを目的とした,形式的な記述を伴う新しい概念的枠組みを提案する。
なぜニューラルネットワークは一般化能力を獲得するのか?
我々は、この新しいフレームワークと基礎となる理論をサポートする包括的な実験セットを提供する。
論文 参考訳（メタデータ） (2022-06-09T12:43:10Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - Local plasticity rules can learn deep representations using
self-supervised contrastive predictions [3.6868085124383616]
生物学的制約を尊重するが、深い階層的な表現をもたらす学習規則はまだ不明である。
本稿では,神経科学からインスピレーションを得た学習ルールを提案し,近年の自己教師型深層学習の進歩について述べる。
この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。
論文 参考訳（メタデータ） (2020-10-16T09:32:35Z) - Learning from Failure: Training Debiased Classifier from Biased
Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。
本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。
本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文 参考訳（メタデータ） (2020-07-06T07:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。