論文の概要: How poor is the stimulus? Evaluating hierarchical generalization in neural networks trained on child-directed speech

• arxiv url: http://arxiv.org/abs/2301.11462v1
• Date: Thu, 26 Jan 2023 23:24:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 16:47:39.320799
• Title: How poor is the stimulus? Evaluating hierarchical generalization in neural networks trained on child-directed speech
• Title（参考訳）: 刺激はどれくらい貧弱ですか。 児童指向音声を用いたニューラルネットワークにおける階層的一般化の評価
• Authors: Aditya Yedetore, Tal Linzen, Robert Frank, R. Thomas McCoy
• Abstract要約: 我々は、LSTMとトランスフォーマーを、子どもの言語入力に類似した量と内容、すなわちChiLDESコーパスからのテキストに基づいて訓練する。 どちらのモデル型も、正しい階層規則よりも誤った線形規則と整合性のある方法で一般化されることが分かる。 これらの結果は、標準的なニューラルネットワークアーキテクチャの一般的なシーケンス処理バイアスよりも強いバイアスを必要とすることを示唆している。
• 参考スコア（独自算出の注目度）: 25.02822854434971
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When acquiring syntax, children consistently choose hierarchical rules over competing non-hierarchical possibilities. Is this preference due to a learning bias for hierarchical structure, or due to more general biases that interact with hierarchical cues in children's linguistic input? We explore these possibilities by training LSTMs and Transformers - two types of neural networks without a hierarchical bias - on data similar in quantity and content to children's linguistic input: text from the CHILDES corpus. We then evaluate what these models have learned about English yes/no questions, a phenomenon for which hierarchical structure is crucial. We find that, though they perform well at capturing the surface statistics of child-directed speech (as measured by perplexity), both model types generalize in a way more consistent with an incorrect linear rule than the correct hierarchical rule. These results suggest that human-like generalization from text alone requires stronger biases than the general sequence-processing biases of standard neural network architectures.
• Abstract（参考訳）: 構文を取得する際、子どもたちは一貫して、競合する非階層的可能性よりも階層的ルールを選択する。 これは、階層構造に対する学習バイアスや、子どもの言語入力における階層的手がかりと相互作用するより一般的なバイアスによるものであるか? LSTMとトランスフォーマー(階層的バイアスのない2種類のニューラルネットワーク)を、子どもの言語入力に類似した量と内容(ChiLDESコーパスからのテキスト)でトレーニングすることで、これらの可能性を探る。 次に、これらのモデルが英語のyes/no質問について学んだこと、階層構造が重要な現象について評価する。 子ども向け音声(パープレキシティによって測定される)の表面統計をうまく捉えることができるが、両方のモデルタイプは正しい階層規則よりも不正確な線形規則と一貫性のある方法で一般化する。 これらの結果は、標準的なニューラルネットワークアーキテクチャの一般的なシーケンス処理バイアスよりも強いバイアスを必要とすることを示唆している。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• How to Plant Trees in Language Models: Data and Architectural Effects on the Emergence of Syntactic Inductive Biases [28.58785395946639]
  事前学習は、微調整後にタスクを実行する際に、階層的な構文的特徴に依存するように言語モデルを教えることができることを示す。 アーキテクチャの特徴(深さ、幅、パラメータ数)と、事前学習コーパスのジャンルとサイズに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-31T14:38:14Z)
• A Multi-Grained Self-Interpretable Symbolic-Neural Model For Single/Multi-Labeled Text Classification [29.075766631810595]
  本稿では,テキストのクラスラベルを選挙区木から明示的に予測するシンボリック・ニューラルモデルを提案する。 構造化言語モデルが自己教師型で選挙区木を予測することを学ぶと、訓練データとして、原文と文レベルのラベルしか必要としない。 実験により,下流タスクにおける予測精度が向上できることが実証された。
  論文  参考訳（メタデータ） (2023-03-06T03:25:43Z)
• Encoding Hierarchical Information in Neural Networks helps in Subpopulation Shift [8.01009207457926]
  ディープニューラルネットワークは画像分類のタスクに適していることが証明されている。 本研究では,新しい条件付き教師あり学習フレームワークのレンズを用いて,上記の問題について検討する。 この構造的階層的な学習によって、サブ人口移動に対してより堅牢なネットワークが得られることを示す。
  論文  参考訳（メタデータ） (2021-12-20T20:26:26Z)
• Computing Class Hierarchies from Classifiers [12.631679928202516]
  ニューラルネットワークからクラス階層を自動的に取得する新しいアルゴリズムを提案する。 我々のアルゴリズムは、よく知られたディープニューラルネットワークモデルに驚くほど優れた階層を生成する。
  論文  参考訳（メタデータ） (2021-12-02T13:01:04Z)
• TopicNet: Semantic Graph-Guided Topic Discovery [51.71374479354178]
  既存の階層的なトピックモデルでは、教師なしの方法でテキストコーパスから意味論的意味のあるトピックを抽出することができる。 TopicNetを階層的なトピックモデルとして導入し、学習に影響を与えるための帰納的バイアスとして、事前構造知識を注入する。
  論文  参考訳（メタデータ） (2021-10-27T09:07:14Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• A Benchmark for Systematic Generalization in Grounded Language Understanding [61.432407738682635]
  人間は慣れ親しんだ部分から成り立つ不慣れな状況を記述する表現を容易に解釈する。 対照的に、現代のニューラルネットワークは、新しい構成を理解するのに苦労している。 位置言語理解における合成一般化を評価するための新しいベンチマークであるgSCANを導入する。
  論文  参考訳（メタデータ） (2020-03-11T08:40:15Z)
• Does syntax need to grow on trees? Sources of hierarchical inductive bias in sequence-to-sequence networks [28.129220683169052]
  ニューラルネットワークモデルでは、帰納バイアスは理論上モデルアーキテクチャのあらゆる側面から生じる可能性がある。 2つの構文的タスクで訓練されたニューラルシークエンス・ツー・シーケンスモデルの一般化挙動にどのようなアーキテクチャ的要因が影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2020-01-10T19:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。