論文の概要: Testing learning hypotheses using neural networks by manipulating learning data

• arxiv url: http://arxiv.org/abs/2407.04593v1
• Date: Fri, 5 Jul 2024 15:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 13:01:09.240836
• Title: Testing learning hypotheses using neural networks by manipulating learning data
• Title（参考訳）: ニューラルネットワークを用いた学習データ操作による学習仮説の検証
• Authors: Cara Su-Yi Leong, Tal Linzen,
• Abstract要約: ニューラルネットワーク言語モデルでは、人間が表示するものと類似した受動的制約を学習できることが示される。 動詞が受動的に現れる頻度は受動性に大きな影響を及ぼすが、動詞の意味論は影響しない。
• 参考スコア（独自算出の注目度）: 20.525923251193472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although passivization is productive in English, it is not completely general -- some exceptions exist (e.g. *One hour was lasted by the meeting). How do English speakers learn these exceptions to an otherwise general pattern? Using neural network language models as theories of acquisition, we explore the sources of indirect evidence that a learner can leverage to learn whether a verb can passivize. We first characterize English speakers' judgments of exceptions to the passive, confirming that speakers find some verbs more passivizable than others. We then show that a neural network language model can learn restrictions to the passive that are similar to those displayed by humans, suggesting that evidence for these exceptions is available in the linguistic input. We test the causal role of two hypotheses for how the language model learns these restrictions by training models on modified training corpora, which we create by altering the existing training corpora to remove features of the input implicated by each hypothesis. We find that while the frequency with which a verb appears in the passive significantly affects its passivizability, the semantics of the verb does not. This study highlight the utility of altering a language model's training data for answering questions where complete control over a learner's input is vital.
• Abstract（参考訳）: 受動的化は英語では生産的であるが、完全には一般的ではない。 英語の話者は、これらの例外を一般的なパターンにどのように学習するか。 ニューラルネットワーク言語モデルを獲得の理論として使用し、学習者が動詞が通過可能かどうかを学習するために活用できる間接的証拠の源泉を探る。 まず、英語話者の例外に対する判断を受動的に特徴付け、話者が他者よりも受動的であることを示す。 次に、ニューラルネットワーク言語モデルが、人間が表示するものと類似した受動的性に対する制約を学習できることを示し、これらの例外の証拠が言語入力で利用可能であることを示唆する。 既存の学習コーパスを変更して、各仮説に関連付けられた入力の特徴を除去することで、言語モデルがこれらの制約をどのように学習するかの2つの仮説の因果的役割を検証する。 動詞が受動的に現れる頻度は受動性に大きな影響を及ぼすが、動詞の意味論は影響しない。 本研究では,学習者の入力を完全に制御することが不可欠である質問に対して,言語モデルの学習データを変更することの有用性を強調した。

関連論文リスト

• Language Models Can Learn Exceptions to Syntactic Rules [22.810889064523167]
  人工ニューラルネットワークは、新しい文脈に生産的に一般化できることを示す。 また、能動対受動音声における動詞の相対的受容性は、それらの音声における動詞の相対的受容頻度と正の相関性を示す。
  論文  参考訳（メタデータ） (2023-06-09T15:35:11Z)
• Injecting structural hints: Using language models to study inductive biases in language learning [40.8902073270634]
  言語モデルに帰納バイアスを注入し,形式的構造化データに基づいて事前学習を行う。 次に, 学習者の言語学習能力の評価を行った。 非文脈自由な関係が最良の帰納バイアスとなることを示す。
  論文  参考訳（メタデータ） (2023-04-25T18:00:08Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)
• Universal linguistic inductive biases via meta-learning [36.43388942327124]
  帰納的バイアスが言語習得における観察されたパターンを説明することができるかは不明である。 ニューラルネットワークモデルに言語的帰納バイアスを与えるためのフレームワークを導入する。 この枠組みを音節構造に基づくケーススタディで実証する。
  論文  参考訳（メタデータ） (2020-06-29T19:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。