論文の概要: Emergent communication and learning pressures in language models: a language evolution perspective
- arxiv url: http://arxiv.org/abs/2403.14427v1
- Date: Thu, 21 Mar 2024 14:33:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 13:59:14.687564
- Title: Emergent communication and learning pressures in language models: a language evolution perspective
- Title(参考訳): 言語モデルにおける創発的コミュニケーションと学習圧力--言語進化の視点から
- Authors: Lukas Galke, Limor Raviv,
- Abstract要約: 創発的なコミュニケーション文献は、自然言語の初期の欠落した言語現象を復元するためのモデルの設計と適応に長けている。
創発的コミュニケーションモデルにおいて、当初欠落していた人間のパターンを回復したキープレッシャを同定する。
これは言語習得と言語進化研究のための言語モデルを設計する方法のインスピレーションとなるかもしれない。
- 参考スコア(独自算出の注目度): 5.371337604556311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models and humans are two types of learning systems. Finding or facilitating commonalities could enable major breakthroughs in our understanding of the acquisition and evolution of language. Many theories of language evolution rely heavily on learning biases and learning pressures. Yet due to substantial differences in learning pressures, it is questionable whether the similarity between humans and machines is sufficient for insights to carry over and to be worth testing with human participants. Here, we review the emergent communication literature, a subfield of multi-agent reinforcement learning, from a language evolution perspective. We find that the emergent communication literature excels at designing and adapting models to recover initially absent linguistic phenomena of natural languages. Based on a short literature review, we identify key pressures that have recovered initially absent human patterns in emergent communication models: communicative success, efficiency, learnability, and other psycho-/sociolinguistic factors. We argue that this may serve as inspiration for how to design language models for language acquisition and language evolution research.
- Abstract(参考訳): 言語モデルと人間は2種類の学習システムである。
共通点の発見や促進は、言語の獲得と進化に対する私たちの理解に大きなブレークスルーをもたらす可能性がある。
言語進化の多くの理論は、学習バイアスと学習圧力に大きく依存している。
しかし、学習のプレッシャーがかなり異なるため、人間と機械の類似性は、人間の参加者とテストする価値のある洞察に十分かどうか疑わしい。
本稿では,言語進化の観点から,多エージェント強化学習のサブフィールドである創発的コミュニケーション文献を概観する。
創発的なコミュニケーション文献は、自然言語の初期の欠落した言語現象を復元するためのモデルの設計と適応に長けている。
短い文献レビューに基づいて、コミュニケーションの成功、効率性、学習可能性、その他の心理・社会言語学的要因など、創発的コミュニケーションモデルにおいて、当初欠落していた人間のパターンを回復した重要なプレッシャーを同定する。
これは言語習得と言語進化研究のための言語モデルを設計する方法のインスピレーションになるかもしれない、と我々は主張する。
関連論文リスト
- Language Imbalance Can Boost Cross-lingual Generalisation [57.273662221547056]
本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。
学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。
分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
論文 参考訳(メタデータ) (2024-04-11T17:58:05Z) - Language Evolution with Deep Learning [49.879239655532324]
計算モデリングは言語の出現の研究において重要な役割を担っている。
構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。
この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
論文 参考訳(メタデータ) (2024-03-18T16:52:54Z) - Towards More Human-like AI Communication: A Review of Emergent
Communication Research [0.0]
創発的コミュニケーション(英: Emergent Communication, Emecom)は、自然言語を利用できる人工エージェントの開発を目的とした研究分野である。
本稿では,文献の共通点と,それらが人間同士の相互作用にどのように関係しているかを概説する。
2つのサブカテゴリを特定し、その特性とオープンな課題を強調します。
論文 参考訳(メタデータ) (2023-08-01T14:43:10Z) - What Artificial Neural Networks Can Tell Us About Human Language
Acquisition [47.761188531404066]
自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。
計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
論文 参考訳(メタデータ) (2022-08-17T00:12:37Z) - Same Neurons, Different Languages: Probing Morphosyntax in Multilingual
Pre-trained Models [84.86942006830772]
多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。
43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
論文 参考訳(メタデータ) (2022-05-04T12:22:31Z) - Creolizing the Web [2.393911349115195]
本稿では,言語進化の社会学的モデルにおける進化パターンの検出手法を提案する。
我々は,個人間のコミュニケーションに基づく言語の一般化進化モデルに対する厳密な基礎を提供する最小主義モデルを開発した。
実験結果とその解釈を rdt から得られた実世界のデータセットに提示し,コミュニティを識別し,意見の反響室を抽出する。
論文 参考訳(メタデータ) (2021-02-24T16:08:45Z) - Emergent Multi-Agent Communication in the Deep Learning Era [26.764052787245728]
言語を通して協力する能力は、人間の決定的な特徴である。
深層人工ネットワークの知覚、運動、計画能力が増大するにつれて、研究者らは対話する共通の言語を開発することができるかどうかを研究している。
論文 参考訳(メタデータ) (2020-06-03T17:50:16Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z) - Experience Grounds Language [185.73483760454454]
言語理解研究は、言語が記述する物理的世界と、それが促進する社会的相互作用とを関連づけることに失敗している。
テキストだけで訓練された後にタスクに取り組むための言語処理モデルの驚くべき効果にもかかわらず、成功した言語コミュニケーションは世界の共有経験に依存している。
論文 参考訳(メタデータ) (2020-04-21T16:56:27Z) - Co-evolution of language and agents in referential games [24.708802957946467]
言語学習者の学習バイアスを考慮し,言語とエージェントを共進化させることが最適であることを示す。
言語発生研究における言語共進化の解明の道を開く。
論文 参考訳(メタデータ) (2020-01-10T09:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。