論文の概要: An iterated learning model of language change that mixes supervised and unsupervised learning

• arxiv url: http://arxiv.org/abs/2405.20818v3
• Date: Wed, 27 Nov 2024 16:53:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:23:01.789934
• Title: An iterated learning model of language change that mixes supervised and unsupervised learning
• Title（参考訳）: 教師なし学習と教師なし学習を混合した言語変化の反復学習モデル
• Authors: Jack Bunyan, Seth Bullock, Conor Houghton,
• Abstract要約: 反復学習モデルは、世代から世代への言語の伝達をシミュレートするエージェントモデルである。 各イテレーションにおいて、言語家庭教師は、ナイーブな瞳孔を限られた発話の訓練セットに公開し、それぞれがランダムな意味とそれを伝達する信号とをペアリングする。 送信ボトルネックは、チューターが経験したトレーニングセットを超えて一般化する必要があることを保証します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The iterated learning model is an agent model which simulates the transmission of of language from generation to generation. It is used to study how the language adapts to pressures imposed by transmission. In each iteration, a language tutor exposes a na\"ive pupil to a limited training set of utterances, each pairing a random meaning with the signal that conveys it. Then the pupil becomes a tutor for a new na\"ive pupil in the next iteration. The transmission bottleneck ensures that tutors must generalize beyond the training set that they experienced. Repeated cycles of learning and generalization can result in a language that is expressive, compositional and stable. Previously, the agents in the iterated learning model mapped signals to meanings using an artificial neural network but relied on an unrealistic and computationally expensive process of obversion to map meanings to signals. Here, both maps are neural networks, trained separately through supervised learning and together through unsupervised learning in the form of an autoencoder. This avoids the computational burden entailed in obversion and introduces a mixture of supervised and unsupervised learning as observed during language learning in children. The new model demonstrates a linear relationship between the dimensionality of meaning-signal space and effective bottleneck size and suggests that internal reflection on potential utterances is important in language learning and evolution.
• Abstract（参考訳）: 反復学習モデルは、世代から世代への言語の伝達をシミュレートするエージェントモデルである。 言語が伝達によって課される圧力にどのように適応するかを研究するために使用される。 各イテレーションにおいて、言語家庭教師は、na\"5" の瞳孔を限られた発話の訓練セットに公開し、それぞれがランダムな意味とそれを伝える信号とをペアリングする。 すると、生徒は次のイテレーションで新しいna\\の生徒の家庭教師になる。 送信ボトルネックは、チューターが経験したトレーニングセットを超えて一般化する必要があることを保証します。 繰り返し学習と一般化のサイクルは、表現的で構成的で安定した言語をもたらす。 これまでは、反復学習モデルのエージェントは、人工ニューラルネットワークを使用して意味に信号をマッピングしていたが、意味を信号にマッピングする非現実的で計算コストの高いプロセスに依存していた。 ここでは、どちらの地図もニューラルネットワークであり、教師なし学習と教師なし学習によって、オートエンコーダの形で個別に訓練されている。 これにより、変形に伴う計算負担を回避し、子供の言語学習中に観察される教師なし学習と教師なし学習の混合を導入する。 新しいモデルでは,意味信号空間の次元性と効果的なボトルネックサイズとの線形関係が示され,潜在的な発話に対する内部反射が言語学習や進化において重要であることを示唆している。

関連論文リスト

• Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
  本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。 我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
  論文  参考訳（メタデータ） (2024-12-23T10:23:47Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Meta predictive learning model of languages in neural circuits [2.5690340428649328]
  本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。 我々のモデルでは、ほとんどの接続は学習後に決定論的になる。 本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
  論文  参考訳（メタデータ） (2023-09-08T03:58:05Z)
• Learning to Model the World with Language [100.76069091703505]
  人間と対話し、世界で行動するためには、エージェントは人々が使用する言語の範囲を理解し、それを視覚の世界に関連付ける必要がある。 私たちのキーとなるアイデアは、エージェントが将来を予測するのに役立つ信号として、このような多様な言語を解釈すべきである、ということです。 我々は、将来のテキストや画像表現を予測するマルチモーダル世界モデルを学ぶエージェントであるDynalangでこれをインスタンス化する。
  論文  参考訳（メタデータ） (2023-07-31T17:57:49Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Communication Drives the Emergence of Language Universals in Neural Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
  ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。 我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
  論文  参考訳（メタデータ） (2023-01-30T17:22:33Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Generative Adversarial Phonology: Modeling unsupervised phonetic and phonological learning with neural networks [0.0]
  音声データにおけるよく理解された依存関係に基づくディープニューラルネットワークのトレーニングは、内部表現の学習方法に関する新たな洞察を提供することができる。 本稿では, 音声の獲得を, 生成適応型ネットワークアーキテクチャにおけるランダム空間と生成した音声データ間の依存性としてモデル化することができることを論じる。 本稿では,音韻的・音韻的特性に対応するネットワークの内部表現を明らかにする手法を提案する。
  論文  参考訳（メタデータ） (2020-06-06T20:31:23Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。