論文の概要: Distilling Symbolic Priors for Concept Learning into Neural Networks

• arxiv url: http://arxiv.org/abs/2402.07035v1
• Date: Sat, 10 Feb 2024 20:06:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 17:55:32.180351
• Title: Distilling Symbolic Priors for Concept Learning into Neural Networks
• Title（参考訳）: ニューラルネットワークへの概念学習のためのシンボリック事前の蒸留
• Authors: Ioana Marinescu, R. Thomas McCoy, Thomas L. Griffiths
• Abstract要約: メタラーニングにより,シンボルベイズモデルから事前分布を蒸留することにより,インダクティブバイアスを人工知能ニューラルネットワークでインスタンス化できることを示す。 このアプローチを用いて、短い論理式として表現された概念に対する帰納的バイアスを持つニューラルネットワークを作成する。
• 参考スコア（独自算出の注目度）: 9.915299875869046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans can learn new concepts from a small number of examples by drawing on their inductive biases. These inductive biases have previously been captured by using Bayesian models defined over symbolic hypothesis spaces. Is it possible to create a neural network that displays the same inductive biases? We show that inductive biases that enable rapid concept learning can be instantiated in artificial neural networks by distilling a prior distribution from a symbolic Bayesian model via meta-learning, an approach for extracting the common structure from a set of tasks. By generating the set of tasks used in meta-learning from the prior distribution of a Bayesian model, we are able to transfer that prior into a neural network. We use this approach to create a neural network with an inductive bias towards concepts expressed as short logical formulas. Analyzing results from previous behavioral experiments in which people learned logical concepts from a few examples, we find that our meta-trained models are highly aligned with human performance.
• Abstract（参考訳）: 人間は、誘導バイアスに基づいて、少数の例から新しい概念を学ぶことができる。 これらの帰納バイアスは、以前は記号的仮説空間上で定義されたベイズモデルを用いて捉えられている。 同じ誘導バイアスを示すニューラルネットワークを作成することは可能か? 本研究では,概念学習の迅速化を可能にする帰納的バイアスを,メタラーニングを通じてシンボルベイズモデルから事前分布を蒸留することで,人工ニューラルネットワークでインスタンス化できることを示す。 ベイズモデルの事前分布からメタラーニングで使われるタスクの集合を生成することで、それをニューラルネットワークに転送することができる。 このアプローチを用いて、短い論理式として表現された概念に対する誘導バイアスを持つニューラルネットワークを作成する。 いくつかの例から論理的概念を学習した過去の行動実験の結果を分析し、メタ学習モデルが人間のパフォーマンスと高度に一致していることを発見した。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• This Probably Looks Exactly Like That: An Invertible Prototypical Network [8.957872207471311]
  プロトタイプニューラルネットワークは、概念アノテーションなしで人間に理解可能な機械学習を実現するための、エキサイティングな方法だ。 原型的説明に対する間接的解釈関数への依存は、プロトタイプの情報的力に厳しい制限を課すことが判明した。 本稿では,ガウス混合モデルを用いて正規化フローを構成することにより,ProtoFlowと呼ばれるモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-16T21:51:02Z)
• Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes [0.0]
  我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。 我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。 各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
  論文  参考訳（メタデータ） (2023-08-01T22:12:30Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Utility-Probability Duality of Neural Networks [4.871730595406078]
  本稿では,ディープラーニングにおける標準教師あり学習手順に対するユーティリティに基づく代替的説明を提案する。 基本的な考え方は、学習したニューラルネットワークを確率モデルではなく、順序付きユーティリティ関数として解釈することである。 ソフトマックス出力を持つ全てのニューラルネットワークに対して、最大推定値のSGD学習ダイナミクスを反復過程と見なすことができる。
  論文  参考訳（メタデータ） (2023-05-24T08:09:07Z)
• Modeling rapid language learning by distilling Bayesian priors into artificial neural networks [18.752638142258668]
  我々は、ベイズモデルの強い帰納バイアスとニューラルネットワークの柔軟な表現を組み合わせたアプローチで、制限された自然主義的データからの学習が可能であることを示す。 得られたシステムは少数の例から形式的な言語パターンを学習することができる。 また、自然言語のコーパスから英語の構文の側面を学ぶこともできる。
  論文  参考訳（メタデータ） (2023-05-24T04:11:59Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Learning Evolved Combinatorial Symbols with a Neuro-symbolic Generative Model [35.341634678764066]
  人間は限られたデータからリッチな概念を素早く理解することができる。 従来のアプローチと概念学習の強みを融合したニューロシンボリックジェネレーションモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-16T17:57:51Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。