論文の概要: Opening the black box of language acquisition

• arxiv url: http://arxiv.org/abs/2402.11681v1
• Date: Sun, 18 Feb 2024 19:11:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 19:31:18.187478
• Title: Opening the black box of language acquisition
• Title（参考訳）: 言語習得のブラックボックスを開く
• Authors: J\'er\^ome Michaud and Anna Jon-and
• Abstract要約: 我々は、学習言語のための、より透明で認知的に妥当なアーキテクチャを提案する。 ディープラーニングの代わりに、シーケンスメモリとチャンキングに基づいた最小限の認知アーキテクチャを使用します。 その結果、モデルがこれらの人工言語をスクラッチから学習し、学習を支援する文法情報を抽出できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advances in large language models using deep learning techniques have renewed interest on how languages can be learned from data. However, it is unclear whether or how these models represent grammatical information from the learned languages. In addition, the models must be pre-trained on large corpora before they can be used. In this work, we propose an alternative, more transparent and cognitively plausible architecture for learning language. Instead of using deep learning, our approach uses a minimal cognitive architecture based on sequence memory and chunking. The learning mechanism is based on the principles of reinforcement learning. We test our architecture on a number of natural-like toy languages. Results show that the model can learn these artificial languages from scratch and extract grammatical information that supports learning. Our study demonstrates the power of this simple architecture and stresses the importance of sequence memory as a key component of the language learning process. Since other animals do not seem to have a faithful sequence memory, this may explain why only humans have developed complex languages.
• Abstract（参考訳）: ディープラーニング技術を用いた大規模言語モデルの最近の進歩は、データから言語を学習する方法に新たな関心を寄せている。 しかし、これらのモデルが学習言語からの文法情報をどう表現するかは不明である。 加えて、モデルは使用前に大きなコーパスで事前訓練されなければならない。 本研究では,学習言語のための代替的,より透明で認知的に妥当なアーキテクチャを提案する。 ディープラーニングの代わりに、シーケンスメモリとチャンキングに基づいた最小限の認知アーキテクチャを使用します。 学習メカニズムは強化学習の原理に基づいている。 私たちは、多くの自然のおもちゃの言語でアーキテクチャをテストします。 その結果,モデルがこれらの人工言語をゼロから学習し,学習を支援する文法情報を抽出できることが示唆された。 本研究は,このシンプルなアーキテクチャのパワーを実証し,言語学習プロセスの重要な要素としてシーケンスメモリの重要性を強調した。 他の動物は忠実なシーケンス記憶を持っていないように見えるため、なぜ人間だけが複雑な言語を発達させたのかを説明することができる。

関連論文リスト

• Improving Arithmetic Reasoning Ability of Large Language Models through Relation Tuples, Verification and Dynamic Feedback [14.938401898546553]
  本稿では,大規模言語モデルの推論ステップを表現するために,半構造化形式を提案する。 具体的には、人間だけでなく、マシンフレンドリで、自然言語よりも容易に検証できる関係を使います。
  論文  参考訳（メタデータ） (2024-06-25T18:21:00Z)
• Large Language Models for Scientific Synthesis, Inference and Explanation [56.41963802804953]
  大規模言語モデルがどのように科学的合成、推論、説明を行うことができるかを示す。 我々は,この「知識」を科学的文献から合成することで,大きな言語モデルによって強化できることを示す。 このアプローチは、大きな言語モデルが機械学習システムの予測を説明することができるというさらなる利点を持っている。
  論文  参考訳（メタデータ） (2023-10-12T02:17:59Z)
• Lip Reading for Low-resource Languages by Learning and Combining General Speech Knowledge and Language-specific Knowledge [57.38948190611797]
  本稿では,特に低リソース言語を対象とした新しい唇読解フレームワークを提案する。 低リソース言語は、そのモデルを訓練するのに十分なビデオテキストペアデータを持っていないため、低リソース言語のための唇読解モデルを開発するのは難しいと考えられている。
  論文  参考訳（メタデータ） (2023-08-18T05:19:03Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Do As I Can, Not As I Say: Grounding Language in Robotic Affordances [119.29555551279155]
  大規模な言語モデルは、世界に関する豊富な意味知識を符号化することができる。 このような知識は、自然言語で表現された高レベルで時間的に拡張された命令を動作させようとするロボットにとって極めて有用である。 低レベルのスキルを大規模言語モデルと組み合わせることで,言語モデルが複雑かつ時間的に拡張された命令を実行する手順について高いレベルの知識を提供することを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:57:11Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Language Models are not Models of Language [0.0]
  トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。 深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
  論文  参考訳（メタデータ） (2021-12-13T22:39:46Z)
• CoLLIE: Continual Learning of Language Grounding from Language-Image Embeddings [2.8478710949588284]
  CoLLIEは、言語がどのように視覚に根ざされているかの継続的な学習のモデルである。 新しい言語の使用に対応するために必要な言語埋め込みを調整する変換関数を学習する。 ごく少数の例から,CoLLIEが効率的に学習し,一般化できることが示される。
  論文  参考訳（メタデータ） (2021-11-15T18:54:58Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Automated Source Code Generation and Auto-completion Using Deep Learning: Comparing and Discussing Current Language-Model-Related Approaches [0.0]
  本稿では、異なるディープラーニングアーキテクチャを比較して、プログラミングコードに基づく言語モデルを作成し、使用する。 それぞれのアプローチのさまざまな長所と短所と、言語モデルを評価したり、実際のプログラミングコンテキストでそれらを適用するためのギャップについて論じる。
  論文  参考訳（メタデータ） (2020-09-16T15:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。