論文の概要: Meta-Learning Neural Mechanisms rather than Bayesian Priors

• arxiv url: http://arxiv.org/abs/2503.16048v1
• Date: Thu, 20 Mar 2025 11:33:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:34:43.491373
• Title: Meta-Learning Neural Mechanisms rather than Bayesian Priors
• Title（参考訳）: ベイズ先行よりもメタラーニングニューラルメカニズム
• Authors: Michael Goodale, Salvador Mascarenhas, Yair Lakretz,
• Abstract要約: フォーマルな言語のメタラーニングについて検討し、従来の主張に反してメタトレーニングモデルは単純さに基づく事前学習をしていないことを発見した。 メタトレーニングが、下流タスクにおけるネットワークの認知的プリミティブのように機能するニューラルメカニズムをモデルにインプリントする証拠を見つける。
• 参考スコア（独自算出の注目度）: 4.451173777061901
• License:
• Abstract: Children acquire language despite being exposed to several orders of magnitude less data than large language models require. Meta-learning has been proposed as a way to integrate human-like learning biases into neural-network architectures, combining both the structured generalizations of symbolic models with the scalability of neural-network models. But what does meta-learning exactly imbue the model with? We investigate the meta-learning of formal languages and find that, contrary to previous claims, meta-trained models are not learning simplicity-based priors when meta-trained on datasets organised around simplicity. Rather, we find evidence that meta-training imprints neural mechanisms (such as counters) into the model, which function like cognitive primitives for the network on downstream tasks. Most surprisingly, we find that meta-training on a single formal language can provide as much improvement to a model as meta-training on 5000 different formal languages, provided that the formal language incentivizes the learning of useful neural mechanisms. Taken together, our findings provide practical implications for efficient meta-learning paradigms and new theoretical insights into linking symbolic theories and neural mechanisms.
• Abstract（参考訳）: 子どもたちは、大きな言語モデルよりも数桁少ないデータに晒されているにもかかわらず、言語を習得する。 メタラーニングは、シンボリックモデルの構造化一般化とニューラル・ネットワークモデルのスケーラビリティを組み合わせた、ヒューマンライクな学習バイアスをニューラル・ネットワークアーキテクチャに統合する手段として提案されている。 しかし、メタラーニングはモデルに正確には何をもたらすのか? フォーマルな言語のメタラーニングについて検討し、従来の主張に反して、メタトレーニングされたモデルは、単純さを中心に編成されたデータセットに基づいてメタトレーニングされた場合に、単純さに基づく事前学習をしていないことを発見した。 むしろ、メタトレーニングがニューラルネットワークのメカニズム(カウンタなど)をモデルにインプリントする証拠を見つけます。 最も驚くべきことに、1つの形式言語でのメタトレーニングは、5000の異なる形式言語でのメタトレーニングと同様に、モデルに多くの改善をもたらすことができる。 本研究は,メタラーニングの効果的なパラダイムと,記号理論と神経機構の関連性に関する新たな理論的知見について考察した。

関連論文リスト

• Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
  本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。 我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
  論文  参考訳（メタデータ） (2024-12-23T10:23:47Z)
• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。 3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。 我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Language Evolution with Deep Learning [49.879239655532324]
  計算モデリングは言語の出現の研究において重要な役割を担っている。 構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。 この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
  論文  参考訳（メタデータ） (2024-03-18T16:52:54Z)
• Meta predictive learning model of languages in neural circuits [2.5690340428649328]
  本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。 我々のモデルでは、ほとんどの接続は学習後に決定論的になる。 本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
  論文  参考訳（メタデータ） (2023-09-08T03:58:05Z)
• Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
  本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。 我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-07T13:08:46Z)
• Meta-Learning via Classifier(-free) Guidance [5.812784742024491]
  最先端のメタ学習技術は、目に見えないタスクへのゼロショット適応を最適化しない。 本稿では,自然言語指導によるゼロショット性能向上のためのメタ学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T11:09:35Z)
• Understanding Benign Overfitting in Nested Meta Learning [44.08080315581763]
  私たちは、ネストされたメタ学習と呼ばれる難易度の高いネストされた構造を持つメタ学習設定に焦点を当てます。 我々の理論は、ネストしたメタ学習タスクにおけるデータの不均一性、モデル適応、良性過剰適合の微妙な相互作用の理解に寄与する。
  論文  参考訳（メタデータ） (2022-06-27T17:46:57Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)
• Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks [55.66438591090072]
  メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。 数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
  論文  参考訳（メタデータ） (2020-02-17T03:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。