論文の概要: What Artificial Neural Networks Can Tell Us About Human Language Acquisition

• arxiv url: http://arxiv.org/abs/2208.07998v2
• Date: Sun, 11 Feb 2024 21:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 01:42:45.620335
• Title: What Artificial Neural Networks Can Tell Us About Human Language Acquisition
• Title（参考訳）: ニューラルネットワークが人間の言語獲得について教えてくれること
• Authors: Alex Warstadt and Samuel R. Bowman
• Abstract要約: 自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
• 参考スコア（独自算出の注目度）: 47.761188531404066
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Rapid progress in machine learning for natural language processing has the potential to transform debates about how humans learn language. However, the learning environments and biases of current artificial learners and humans diverge in ways that weaken the impact of the evidence obtained from learning simulations. For example, today's most effective neural language models are trained on roughly one thousand times the amount of linguistic data available to a typical child. To increase the relevance of learnability results from computational models, we need to train model learners without significant advantages over humans. If an appropriate model successfully acquires some target linguistic knowledge, it can provide a proof of concept that the target is learnable in a hypothesized human learning scenario. Plausible model learners will enable us to carry out experimental manipulations to make causal inferences about variables in the learning environment, and to rigorously test poverty-of-the-stimulus-style claims arguing for innate linguistic knowledge in humans on the basis of speculations about learnability. Comparable experiments will never be possible with human subjects due to practical and ethical considerations, making model learners an indispensable resource. So far, attempts to deprive current models of unfair advantages obtain sub-human results for key grammatical behaviors such as acceptability judgments. But before we can justifiably conclude that language learning requires more prior domain-specific knowledge than current models possess, we must first explore non-linguistic inputs in the form of multimodal stimuli and multi-agent interaction as ways to make our learners more efficient at learning from limited linguistic input.
• Abstract（参考訳）: 自然言語処理のための機械学習の急速な進歩は、人間の言語学習の仕方に関する議論を変革する可能性がある。 しかし、現在の人工学習者や人間の学習環境やバイアスは、学習シミュレーションから得られた証拠の影響を弱める方法で多様化する。 例えば、今日の最も効果的なニューラルネットワークモデルは、典型的な子供に利用可能な言語データの約1000倍の量で訓練されている。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たないモデル学習者を訓練する必要がある。 適切なモデルが対象とする言語知識の獲得に成功すれば、仮説化された人間の学習シナリオでターゲットが学習可能であるという概念の証明を提供することができる。 プラルーシブルモデル学習者は、学習環境における変数に関する因果推論を実験的に行うことができ、学習可能性に関する憶測に基づいて、人間の自然的言語知識を主張する貧困感スタイルの主張を厳格に検証することができる。 実用的かつ倫理的な配慮により、人間に匹敵する実験は不可能であり、モデル学習者は不可欠な資源となる。 これまでのところ、不公平な優位性の現在のモデルを取り除こうとする試みは、アクセプタビリティ判断のような重要な文法的行動に対する人間以下の結果が得られる。 しかし、言語学習が現在のモデルよりも先進的なドメイン固有知識を必要とすることを正当化する前には、まず、限られた言語入力からの学習をより効率的にする方法として、マルチモーダル刺激とマルチエージェント相互作用という形で非言語的な入力を探索しなければなりません。

関連論文リスト

• Babysit A Language Model From Scratch: Interactive Language Learning by Trials and Demonstrations [15.394018604836774]
  本稿では, 学生の試行, 教師のデモンストレーション, 言語能力に配慮した報酬の3つの要素を組み込んだTnD学習フレームワークを提案する。 実験の結果,TnD手法は等数あるいは少人数の学生モデルの単語獲得を促進させることがわかった。 この結果から,対話型言語学習は,教師による実演や学生の試行を通じて,言語モデルにおける効率的な単語学習を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-05-22T16:57:02Z)
• Unveiling the pressures underlying language learning and use in neural networks, large language models, and humans: Lessons from emergent machine-to-machine communication [5.371337604556311]
  本稿では,ニューラルエージェントと人間の言語行動のミスマッチが解決された3症例について概説する。 我々は、コミュニケーションの成功、生産努力、学習可能性、その他の心理・社会言語学的要因といった、言語学習と台頭のための重要なプレッシャーを識別する。
  論文  参考訳（メタデータ） (2024-03-21T14:33:34Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Modeling rapid language learning by distilling Bayesian priors into artificial neural networks [18.752638142258668]
  我々は、ベイズモデルの強い帰納バイアスとニューラルネットワークの柔軟な表現を組み合わせたアプローチで、制限された自然主義的データからの学習が可能であることを示す。 得られたシステムは少数の例から形式的な言語パターンを学習することができる。 また、自然言語のコーパスから英語の構文の側面を学ぶこともできる。
  論文  参考訳（メタデータ） (2023-05-24T04:11:59Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)
• Communication Drives the Emergence of Language Universals in Neural Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
  ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。 我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
  論文  参考訳（メタデータ） (2023-01-30T17:22:33Z)
• Do As I Can, Not As I Say: Grounding Language in Robotic Affordances [119.29555551279155]
  大規模な言語モデルは、世界に関する豊富な意味知識を符号化することができる。 このような知識は、自然言語で表現された高レベルで時間的に拡張された命令を動作させようとするロボットにとって極めて有用である。 低レベルのスキルを大規模言語モデルと組み合わせることで,言語モデルが複雑かつ時間的に拡張された命令を実行する手順について高いレベルの知識を提供することを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:57:11Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。