論文の概要: Unveiling the pressures underlying language learning and use in neural networks, large language models, and humans: Lessons from emergent machine-to-machine communication
- arxiv url: http://arxiv.org/abs/2403.14427v2
- Date: Tue, 08 Oct 2024 14:22:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:28:34.304937
- Title: Unveiling the pressures underlying language learning and use in neural networks, large language models, and humans: Lessons from emergent machine-to-machine communication
- Title(参考訳): ニューラルネットワーク、大規模言語モデル、人間における基礎となる言語学習と使用のプレッシャーを解消する:緊急機械間通信から学ぶ
- Authors: Lukas Galke, Limor Raviv,
- Abstract要約: 本稿では,ニューラルエージェントと人間の言語行動のミスマッチが解決された3症例について概説する。
我々は、コミュニケーションの成功、生産努力、学習可能性、その他の心理・社会言語学的要因といった、言語学習と台頭のための重要なプレッシャーを識別する。
- 参考スコア(独自算出の注目度): 5.371337604556311
- License:
- Abstract: Finding and facilitating commonalities between the linguistic behaviors of large language models and humans could lead to major breakthroughs in our understanding of the acquisition, processing, and evolution of language. However, most findings on human--LLM similarity can be attributed to training on human data. The field of emergent machine to-machine communication provides an ideal testbed for discovering which pressures are neural agents naturally exposed to when learning to communicate in isolation, without any human language to start with. Here, we review three cases where mismatches between the emergent linguistic behavior of neural agents and humans were resolved thanks to introducing theoretically-motivated inductive biases. By contrasting humans, large language models, and emergent communication agents, we then identify key pressures at play for language learning and emergence: communicative success, production effort, learnability, and other psycho-/sociolinguistic factors. We discuss their implications and relevance to the field of language evolution and acquisition. By mapping out the necessary inductive biases that make agents' emergent languages more human-like, we not only shed light on the underlying principles of human cognition and communication, but also inform and improve the very use of these models as valuable scientific tools for studying language learning, processing, use, and representation more broadly.
- Abstract(参考訳): 大きな言語モデルと人間の言語行動の共通点を見つけ、促進することは、言語の獲得、処理、進化に対する我々の理解に大きなブレークスルーをもたらす可能性がある。
しかしながら、人間-LLM類似性に関するほとんどの発見は、人間のデータによるトレーニングによるものと考えられる。
緊急機械と機械のコミュニケーションの分野は、人間の言語を使わずに、独立してコミュニケーションを学ぶときに、どの圧力が神経エージェントに自然に露出するかを発見するための理想的なテストベッドを提供する。
本稿では, 理論的動機付けによる帰納的バイアスの導入により, ニューラルエージェントと人間の言語行動のミスマッチが解消された3症例について概説する。
人間や大きな言語モデル、創発的なコミュニケーションエージェントと対比することにより、コミュニケーションの成功、生産努力、学習可能性、その他の心理的・社会的要因など、言語学習と出現のための重要なプレッシャーを識別する。
言語進化と獲得の分野におけるそれらの意味と関連性について論じる。
エージェントの創発的言語をより人間らしくするために必要な帰納的バイアスをマッピングすることによって、人間の認知とコミュニケーションの根底にある原則に光を当てるだけでなく、言語学習、処理、使用、表現をより広く研究するための貴重な科学的ツールとして、これらのモデルの利用を通知し改善する。
関連論文リスト
- Language Evolution with Deep Learning [49.879239655532324]
計算モデリングは言語の出現の研究において重要な役割を担っている。
構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。
この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
論文 参考訳(メタデータ) (2024-03-18T16:52:54Z) - Towards More Human-like AI Communication: A Review of Emergent
Communication Research [0.0]
創発的コミュニケーション(英: Emergent Communication, Emecom)は、自然言語を利用できる人工エージェントの開発を目的とした研究分野である。
本稿では,文献の共通点と,それらが人間同士の相互作用にどのように関係しているかを概説する。
2つのサブカテゴリを特定し、その特性とオープンな課題を強調します。
論文 参考訳(メタデータ) (2023-08-01T14:43:10Z) - Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism
of Language Models [49.39276272693035]
大規模事前学習型言語モデルは、顕著な記憶能力を示している。
プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。
1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
論文 参考訳(メタデータ) (2023-05-16T03:50:38Z) - What Artificial Neural Networks Can Tell Us About Human Language
Acquisition [47.761188531404066]
自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。
計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
論文 参考訳(メタデータ) (2022-08-17T00:12:37Z) - Same Neurons, Different Languages: Probing Morphosyntax in Multilingual
Pre-trained Models [84.86942006830772]
多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。
43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
論文 参考訳(メタデータ) (2022-05-04T12:22:31Z) - Creolizing the Web [2.393911349115195]
本稿では,言語進化の社会学的モデルにおける進化パターンの検出手法を提案する。
我々は,個人間のコミュニケーションに基づく言語の一般化進化モデルに対する厳密な基礎を提供する最小主義モデルを開発した。
実験結果とその解釈を rdt から得られた実世界のデータセットに提示し,コミュニティを識別し,意見の反響室を抽出する。
論文 参考訳(メタデータ) (2021-02-24T16:08:45Z) - Emergent Multi-Agent Communication in the Deep Learning Era [26.764052787245728]
言語を通して協力する能力は、人間の決定的な特徴である。
深層人工ネットワークの知覚、運動、計画能力が増大するにつれて、研究者らは対話する共通の言語を開発することができるかどうかを研究している。
論文 参考訳(メタデータ) (2020-06-03T17:50:16Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z) - Experience Grounds Language [185.73483760454454]
言語理解研究は、言語が記述する物理的世界と、それが促進する社会的相互作用とを関連づけることに失敗している。
テキストだけで訓練された後にタスクに取り組むための言語処理モデルの驚くべき効果にもかかわらず、成功した言語コミュニケーションは世界の共有経験に依存している。
論文 参考訳(メタデータ) (2020-04-21T16:56:27Z) - Co-evolution of language and agents in referential games [24.708802957946467]
言語学習者の学習バイアスを考慮し,言語とエージェントを共進化させることが最適であることを示す。
言語発生研究における言語共進化の解明の道を開く。
論文 参考訳(メタデータ) (2020-01-10T09:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。