論文の概要: Searching for Structure: Investigating Emergent Communication with Large Language Models

• arxiv url: http://arxiv.org/abs/2412.07646v3
• Date: Fri, 13 Dec 2024 12:35:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 11:43:05.200526
• Title: Searching for Structure: Investigating Emergent Communication with Large Language Models
• Title（参考訳）: 構造探索:大規模言語モデルを用いた創発的コミュニケーションの検討
• Authors: Tom Kouwenhoven, Max Peeperkorn, Tessa Verhoef,
• Abstract要約: 我々は,大規模言語モデルが人工言語を学習し,使用する古典的参照ゲームについてシミュレートする。 この結果から, 当初構造化されていない全体言語は, 2つのLLMエージェントが正常に通信できるような構造的特性を持つことが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.10923877073891446
• License:
• Abstract: Human languages have evolved to be structured through repeated language learning and use. These processes introduce biases that operate during language acquisition and shape linguistic systems toward communicative efficiency. In this paper, we investigate whether the same happens if artificial languages are optimised for implicit biases of Large Language Models (LLMs). To this end, we simulate a classical referential game in which LLMs learn and use artificial languages. Our results show that initially unstructured holistic languages are indeed shaped to have some structural properties that allow two LLM agents to communicate successfully. Similar to observations in human experiments, generational transmission increases the learnability of languages, but can at the same time result in non-humanlike degenerate vocabularies. Taken together, this work extends experimental findings, shows that LLMs can be used as tools in simulations of language evolution, and opens possibilities for future human-machine experiments in this field.
• Abstract（参考訳）: 人間の言語は、繰り返し言語学習と使用を通じて構造化されるように進化してきた。 これらのプロセスは、言語習得中に機能するバイアスを導入し、コミュニケーション効率を高めるために言語システムを形作る。 本稿では,Large Language Models (LLMs) の暗黙バイアスに対して人工言語が最適化された場合にも同じことが起こるかを検討する。 そこで本研究では,LLMが人工言語を学習し,使用する古典的参照ゲームについてシミュレーションする。 この結果から, 当初構造化されていない全体言語は, 2つのLLMエージェントが正常に通信できるような構造的特性を持つことが明らかとなった。 人間実験での観察と同様に、世代間伝達は言語の学習可能性を高めるが、同時に非人間的な退化語彙をもたらす。 この研究は、実験結果を拡張し、LLMが言語進化のシミュレーションのツールとして使用できることを示し、この分野における将来の人間・機械実験の可能性を開く。

関連論文リスト

• From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition [6.617999710257379]
  本稿では,LMの能力を評価するための3段階のフレームワークを提案する。 言語研究の手法を用いて, LMの生成能力を評価する。
  論文  参考訳（メタデータ） (2024-10-17T06:31:49Z)
• Kallini et al. (2024) do not compare impossible languages with constituency-based ones [0.0]
  言語理論の中心的な目的は、「可能な人間言語」という概念を特徴づけることである。 NLPアプリケーションにおける最近の大規模言語モデル(LLM)は、LLMがこの目標を満たす計算機器である可能性を高める。 私は、この矛盾を説明し、根底にある問題を適切にテストする比較を構築するためのいくつかの方法を提案します。
  論文  参考訳（メタデータ） (2024-10-16T06:16:30Z)
• Converging to a Lingua Franca: Evolution of Linguistic Regions and Semantics Alignment in Multilingual Large Language Models [11.423589362950812]
  大規模言語モデル(LLM)は、特に多言語文脈において顕著な性能を示した。 近年の研究では、LLMは、ある言語で学んだスキルを他の言語に伝達することができることが示唆されているが、この能力の背後にある内部メカニズムはいまだ不明である。 本稿では,LLMの内部動作に関する知見を提供し,言語間能力の向上のための基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-15T15:49:15Z)
• Modeling language contact with the Iterated Learning Model [0.0]
  反復学習モデルは言語変化のエージェントベースモデルである。 最近導入された反復学習モデルであるSemi-Supervised ILMは、言語接触をシミュレートするために使われている。
  論文  参考訳（メタデータ） (2024-06-11T01:43:23Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
  本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。 我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-11-10T05:09:16Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。