論文の概要: Modeling rapid language learning by distilling Bayesian priors into artificial neural networks

• arxiv url: http://arxiv.org/abs/2305.14701v1
• Date: Wed, 24 May 2023 04:11:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 20:00:34.957471
• Title: Modeling rapid language learning by distilling Bayesian priors into artificial neural networks
• Title（参考訳）: ベイジアン前駆体をニューラルネットワークに蒸留するラピッド言語学習のモデル化
• Authors: R. Thomas McCoy and Thomas L. Griffiths
• Abstract要約: 我々は、ベイズモデルの強い帰納バイアスとニューラルネットワークの柔軟な表現を組み合わせたアプローチで、制限された自然主義的データからの学習が可能であることを示す。 得られたシステムは少数の例から形式的な言語パターンを学習することができる。 また、自然言語のコーパスから英語の構文の側面を学ぶこともできる。
• 参考スコア（独自算出の注目度）: 18.752638142258668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans can learn languages from remarkably little experience. Developing computational models that explain this ability has been a major challenge in cognitive science. Bayesian models that build in strong inductive biases - factors that guide generalization - have been successful at explaining how humans might generalize from few examples in controlled settings but are usually too restrictive to be tractably applied to more naturalistic data. By contrast, neural networks have flexible representations that allow them to learn well from naturalistic data but require many more examples than humans receive. We show that learning from limited naturalistic data is possible with an approach that combines the strong inductive biases of a Bayesian model with the flexible representations of a neural network. This approach works by distilling a Bayesian model's biases into a neural network. Like a Bayesian model, the resulting system can learn formal linguistic patterns from a small number of examples. Like a neural network, it can also learn aspects of English syntax from a corpus of natural language - and it outperforms a standard neural network at acquiring the linguistic phenomena of recursion and priming. Bridging the divide between Bayesian models and neural networks makes it possible to handle a broader range of learning scenarios than either approach can handle on its own.
• Abstract（参考訳）: 人間は驚くほど少ない経験から言語を学ぶことができる。 この能力を説明する計算モデルの開発は認知科学において大きな課題となっている。 一般化を導く強い帰納的バイアス要素を構築するベイズモデルは、制御されたいくつかの例から人間を一般化する方法を説明することに成功している。 対照的に、ニューラルネットワークには柔軟な表現があり、自然データからよく学習できるが、人間よりも多くの例を必要とする。 ベイズモデルの強い帰納的バイアスとニューラルネットワークの柔軟な表現を組み合わせたアプローチによって,限定的な自然データから学習することが可能であることを示す。 このアプローチは、ベイズモデルのバイアスをニューラルネットワークに蒸留することで機能する。 ベイズ模型と同様に、結果として得られるシステムは少数の例から形式的な言語パターンを学習することができる。 ニューラルネットワークのように、自然言語のコーパスから英語構文の側面を学習することも可能で、再帰とプライミングの言語現象を取得するための標準的なニューラルネットワークよりも優れています。 ベイズモデルとニューラルネットワークの分離を橋渡しすることで、どちらのアプローチも独自のアプローチで処理できるよりも幅広い学習シナリオを処理できるようになる。

関連論文リスト

• Distilling Symbolic Priors for Concept Learning into Neural Networks [9.915299875869046]
  メタラーニングにより,シンボルベイズモデルから事前分布を蒸留することにより,インダクティブバイアスを人工知能ニューラルネットワークでインスタンス化できることを示す。 このアプローチを用いて、短い論理式として表現された概念に対する帰納的バイアスを持つニューラルネットワークを作成する。
  論文  参考訳（メタデータ） (2024-02-10T20:06:26Z)
• Why can neural language models solve next-word prediction? A mathematical perspective [53.807657273043446]
  本研究では,英語文の実例をモデル化するための形式言語群について検討する。 我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
  論文  参考訳（メタデータ） (2023-06-20T10:41:23Z)
• What makes a language easy to deep-learn? Deep neural networks and humans similarly benefit from compositional structure [5.871583927216651]
  言語の基本的性質は、その構成構造であり、人間は新しい意味の形を作ることができる。 人間にとって、より構成的で透明な構造を持つ言語は、不透明で不規則な構造を持つ言語よりも学習しやすい。 この学習可能性の利点は、人間の言語学習のモデルとしての使用を制限するディープニューラルネットワークでは、まだ示されていない。
  論文  参考訳（メタデータ） (2023-02-23T18:57:34Z)
• Benchmarking Compositionality with Formal Languages [64.09083307778951]
  我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。 多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。 モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
  論文  参考訳（メタデータ） (2022-08-17T10:03:18Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Universal linguistic inductive biases via meta-learning [36.43388942327124]
  帰納的バイアスが言語習得における観察されたパターンを説明することができるかは不明である。 ニューラルネットワークモデルに言語的帰納バイアスを与えるためのフレームワークを導入する。 この枠組みを音節構造に基づくケーススタディで実証する。
  論文  参考訳（メタデータ） (2020-06-29T19:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。