論文の概要: Learning Transductions to Test Systematic Compositionality

• arxiv url: http://arxiv.org/abs/2208.08195v1
• Date: Wed, 17 Aug 2022 10:03:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 12:47:12.935705
• Title: Learning Transductions to Test Systematic Compositionality
• Title（参考訳）: システム構成性をテストするためのトランスダクションの学習
• Authors: Josef Valvoda, Naomi Saphra, Jonathan Rawski, Ryan Cotterell, Adina Williams
• Abstract要約: 既知の原始概念をより大きな新しい組み合わせに再結合することは、人間の認知能力である。 決定論的有限状態トランスデューサを用いて、構成性を管理する制御可能な特性を持つ非有界な数のデータセットを作成する。 モデルは完全に関係を学習するか、全く学習しないかのどちらかです。
• 参考スコア（独自算出の注目度）: 64.09083307778951
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recombining known primitive concepts into larger novel combinations is a quintessentially human cognitive capability. Whether large neural models in NLP acquire this ability while learning from data is an open question. In this paper, we look at this problem from the perspective of formal languages. We use deterministic finite-state transducers to make an unbounded number of datasets with controllable properties governing compositionality. By randomly sampling over many transducers, we explore which of their properties (number of states, alphabet size, number of transitions etc.) contribute to learnability of a compositional relation by a neural network. In general, we find that the models either learn the relations completely or not at all. The key is transition coverage, setting a soft learnability limit at 400 examples per transition.
• Abstract（参考訳）: 既知の原始概念をより大きな新しい組み合わせに再結合することは、人間の認知能力である。 NLPにおける大きなニューラルモデルが、データから学習しながらこの能力を獲得するかどうかは、オープンな疑問である。 本稿では,形式言語の観点から,この問題を考察する。 決定論的有限状態トランスデューサを用いて、構成性を管理する制御可能な特性を持つ非有界な数のデータセットを作成する。 多くのトランスデューサをランダムにサンプリングすることにより、その特性(状態数、アルファベットサイズ、遷移数など)のどれがニューラルネットワークによる構成関係の学習に寄与するかを探索する。 一般に、モデルは完全に関係を学習するか全く学習しないかが分かる。 キーとなるのは移行カバレッジで、移行毎に400例という、ソフトラーナビリティの制限を設定します。

関連論文リスト

• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Modeling rapid language learning by distilling Bayesian priors into artificial neural networks [18.752638142258668]
  我々は、ベイズモデルの強い帰納バイアスとニューラルネットワークの柔軟な表現を組み合わせたアプローチで、制限された自然主義的データからの学習が可能であることを示す。 得られたシステムは少数の例から形式的な言語パターンを学習することができる。 また、自然言語のコーパスから英語の構文の側面を学ぶこともできる。
  論文  参考訳（メタデータ） (2023-05-24T04:11:59Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Robust Generalization of Quadratic Neural Networks via Function Identification [19.87036824512198]
  一般化は、テスト分布がトレーニング分布に近いと仮定することが多い。 2次ニューラルネットワークでは、パラメータを特定できないにもかかわらず、モデルで表される関数を識別できることが示される。
  論文  参考訳（メタデータ） (2021-09-22T18:02:00Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• Understanding Boolean Function Learnability on Deep Neural Networks [0.0]
  計算学習理論 (Computational learning theory) は、多くの式が時間内に学習可能であることを述べる。 本稿では, ニューラルネットワークを用いて, 実際にそのような公式を学習する方法について, 未研究の課題に対処する。
  論文  参考訳（メタデータ） (2020-09-13T03:49:20Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Compositional Languages Emerge in a Neural Iterated Learning Model [27.495624644227888]
  構成性により、自然言語はより単純な組み合わせによって複雑な概念を表現することができる。 本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語の出現を促進する効果的なニューラル・イテレーテッド・ラーニング(NIL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-04T15:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。