論文の概要: Relational Weight Priors in Neural Networks for Abstract Pattern Learning and Language Modelling

• arxiv url: http://arxiv.org/abs/2103.06198v1
• Date: Wed, 10 Mar 2021 17:21:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-12 01:59:29.880001
• Title: Relational Weight Priors in Neural Networks for Abstract Pattern Learning and Language Modelling
• Title（参考訳）: 抽象パターン学習と言語モデリングのためのニューラルネットワークにおける関係重み付け
• Authors: Radha Kopparti and Tillman Weyde
• Abstract要約: 抽象パターンは、見えないデータに対する一般化の観点から、ニューラルネットワークにとって難しい問題の最もよく知られた例である。 これらの低レベル問題は、ニューラルネットワークが体系的に学習できないことを示しています。 抽象パターンの等価性と距離関係の学習を促進するリレーショナルインダクティブバイアスを作成するための新しい方法として、組み込みリレーショナルベースパターン(ERBP)を提案する。
• 参考スコア（独自算出の注目度）: 6.980076213134383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have become the dominant approach in natural language processing (NLP). However, in recent years, it has become apparent that there are shortcomings in systematicity that limit the performance and data efficiency of deep learning in NLP. These shortcomings can be clearly shown in lower-level artificial tasks, mostly on synthetic data. Abstract patterns are the best known examples of a hard problem for neural networks in terms of generalisation to unseen data. They are defined by relations between items, such as equality, rather than their values. It has been argued that these low-level problems demonstrate the inability of neural networks to learn systematically. In this study, we propose Embedded Relation Based Patterns (ERBP) as a novel way to create a relational inductive bias that encourages learning equality and distance-based relations for abstract patterns. ERBP is based on Relation Based Patterns (RBP), but modelled as a Bayesian prior on network weights and implemented as a regularisation term in otherwise standard network learning. ERBP is is easy to integrate into standard neural networks and does not affect their learning capacity. In our experiments, ERBP priors lead to almost perfect generalisation when learning abstract patterns from synthetic noise-free sequences. ERBP also improves natural language models on the word and character level and pitch prediction in melodies with RNN, GRU and LSTM networks. We also find improvements in in the more complex tasks of learning of graph edit distance and compositional sentence entailment. ERBP consistently improves over RBP and over standard networks, showing that it enables abstract pattern learning which contributes to performance in natural language tasks.
• Abstract（参考訳）: ディープニューラルネットワークは自然言語処理(NLP)における主要なアプローチとなっている。 しかし近年,NLPにおける深層学習の性能とデータ効率を抑える体系性に欠点があることが明らかになっている。 これらの欠点は、主に合成データに基づいて、低レベルの人工タスクで明確に示される。 抽象パターンは、見えないデータに対する一般化の観点から、ニューラルネットワークにとって難しい問題の最もよく知られた例である。 それらは価値ではなく、平等のような項目間の関係によって定義される。 これらの低レベル問題は、ニューラルネットワークが体系的に学習できないことを示しています。 本研究では,抽象パターンの等価性と距離関係の学習を促進する関係誘導バイアスを作成するための新しい方法として,組み込み関係に基づくパターン(ERBP)を提案する。 ERBPはRelation Based Patterns(RBP)をベースにしているが、ネットワーク重み付けの前にベイジアンとしてモデル化され、標準のネットワーク学習で正規化用語として実装されている。 ERBPは標準的なニューラルネットワークに簡単に統合でき、学習能力に影響を与えない。 我々の実験では、ERBPの先行は合成ノイズのない配列から抽象パターンを学習する際にほぼ完全に一般化される。 ERBPはまた、RNN、GRU、LSTMネットワークによるメロディーにおける単語と文字レベルの自然言語モデルとピッチ予測を改善します。 また,グラフ編集距離の学習や文の補足など,より複雑な作業でも改善が見られた。 ERBPは、RBPや標準ネットワークよりも一貫して改善されており、自然言語タスクのパフォーマンスに寄与する抽象パターン学習を可能にしている。

関連論文リスト

• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set [0.0]
  本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。 ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。 その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:31Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)
• How much complexity does an RNN architecture need to learn syntax-sensitive dependencies? [9.248882589228089]
  長期記憶(LSTM)ネットワークは、長距離依存をカプセル化することができる。 単純なリカレントネットワーク(SRN)は一般的に、長距離依存関係の取得にはあまり成功していない。 本稿では,ニューロン活性化の減衰特性を取り入れた新しいアーキテクチャであるDecay RNNを提案する。
  論文  参考訳（メタデータ） (2020-05-17T09:13:28Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。