論文の概要: Comment on "Modeling rapid language learning by distilling Bayesian priors into artificial neural networks"

• arxiv url: http://arxiv.org/abs/2608.12974v1
• Date: Thu, 13 Aug 2026 08:54:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.455795
• Title: Comment on "Modeling rapid language learning by distilling Bayesian priors into artificial neural networks"
• Title（参考訳）: ベイジアン前駆体を人工ニューラルネットワークに蒸留した高速言語学習のモデル化」について
• Abstract要約: McCoy & Griffiths (2025年、その後のM&G) は、ベイジアン前駆体をモデル非依存メタラーニングにより人工ニューラルネットワーク(ANN)に蒸留できることを示唆している。 メタ学習ネットワークはYang & Piantadosi (2023)のベイズ学習に匹敵する言語学習能力を示す。 そして、より寛容な解釈を考察し、システム全体を目的の明示的な事前を伴わずにベイズ学習者の実装とみなすことができる。
• 参考スコア（独自算出の注目度）: 1.1666234644810893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: McCoy & Griffiths (2025, henceforth M&G) suggest that a Bayesian prior can be distilled into Artificial Neural Networks (ANNs) through Model-Agnostic Meta-Learning (MAML, Finn et al., 2017). They support this empirically by showing that meta-trained networks demonstrate formal language learning abilities comparable to Yang & Piantadosi (2023)'s Bayesian learner, significantly outperforming standard ANNs. We point out that under the standard interpretation of a prior, M&G's procedure does not actually instill one; it merely initializes network weights favorably, leaving the objective function unchanged. We then consider a more permissive interpretation, where the system as a whole can be seen as implementing a Bayesian learner even without an explicit prior in the objective. We show that this interpretation faces nontrivial challenges. Finally, we assess how well MAML approximates the empirical results of Bayesian learning, showing that unlike genuine Bayesian learners, M&G's model overfits and generalizes poorly to unseen data.
• Abstract（参考訳）: McCoy & Griffiths (2025年、その後のM&G) は、モデル非依存メタラーニング (MAML, Finn et al , 2017) を通じてベイジアン前駆体を人工ニューラルネットワーク (ANN) に蒸留できることを示唆している。 彼らは、メタトレーニングされたネットワークが、Yang & Piantadosi (2023)のベイズ学習機に匹敵する形式的な言語学習能力を示し、標準のANNよりも著しく優れていることを示すことで、これを実証的にサポートした。 従来の解釈では、M&Gの手順が実際にそれを注入するわけではなく、単にネットワークの重み付けを優先的に初期化し、目的関数をそのまま残すだけである。 そして、より寛容な解釈を考察し、システム全体を目的の明示的な事前を伴わずにベイズ学習者の実装とみなすことができる。 我々はこの解釈が非自明な課題に直面していることを示す。 最後に,MAMLがベイズ学習の経験的結果とどのように近似するかを評価し,真のベイズ学習者とは異なり,M&Gのモデルは不明瞭なデータに過度に適合し,一般化していることを示す。

関連論文リスト

• Amortising Inference and Meta-Learning Priors in Neural Networks [6.79694176040179]
  予測課題に対する信念をモデルパラメータよりも先に分布させることでどのように表現するかは明らかではない。 我々は、データセットごとのアモートされた変分推論を実行する方法を紹介した。 このユニークなモデルにより、ベイズニューラルネットワークの挙動を、十分に特定された事前条件下で研究することができる。
  論文  参考訳（メタデータ） (2026-02-09T15:24:07Z)
• LLMExplainer: Large Language Model based Bayesian Inference for Graph Explanation Generation [20.234100409015507]
  最近の研究は、複数の教師なし学習モデルを通してグラフニューラルネットワーク(GNN)の解釈可能性を提供することを目指している。 データセットが不足しているため、現在の手法ではバイアスの学習が困難になる。 学習バイアス問題を回避するため,GNN説明ネットワークにLarge Language Model (LLM) を知識として組み込む。
  論文  参考訳（メタデータ） (2024-07-22T03:36:38Z)
• Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
  Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。 本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
  論文  参考訳（メタデータ） (2024-02-08T22:05:45Z)
• Self-Evolution Learning for Discriminative Language Model Pretraining [103.57103957631067]
  自己進化学習(Self-Evolution Learning、SE)は、単純で効果的なトークンマスキングと学習方法である。 SEは情報的だが未探索のトークンを学習することに集中し、新しいToken固有のラベル平滑化アプローチを導入してトレーニングを適応的に調整する。
  論文  参考訳（メタデータ） (2023-05-24T16:00:54Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• Priors in Bayesian Deep Learning: A Review [4.020523898765405]
  ベイズ深層学習における事前選択の重要性を強調する。 本稿では, (深い) ガウス過程, 変分オートエンコーダ, ベイズニューラルネットワークに対して提案されている, 様々な前処理について概説する。
  論文  参考訳（メタデータ） (2021-05-14T14:53:30Z)
• Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need in MOOC Forums [58.221459787471254]
  大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。 多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。 MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。 本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
  論文  参考訳（メタデータ） (2021-04-26T15:12:13Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。