論文の概要: Emergent communication and learning pressures in language models: a language evolution perspective

• arxiv url: http://arxiv.org/abs/2403.14427v1
• Date: Thu, 21 Mar 2024 14:33:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 13:59:14.687564
• Title: Emergent communication and learning pressures in language models: a language evolution perspective
• Title（参考訳）: 言語モデルにおける創発的コミュニケーションと学習圧力--言語進化の視点から
• Authors: Lukas Galke, Limor Raviv,
• Abstract要約: 創発的なコミュニケーション文献は、自然言語の初期の欠落した言語現象を復元するためのモデルの設計と適応に長けている。 創発的コミュニケーションモデルにおいて、当初欠落していた人間のパターンを回復したキープレッシャを同定する。 これは言語習得と言語進化研究のための言語モデルを設計する方法のインスピレーションとなるかもしれない。
• 参考スコア（独自算出の注目度）: 5.371337604556311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models and humans are two types of learning systems. Finding or facilitating commonalities could enable major breakthroughs in our understanding of the acquisition and evolution of language. Many theories of language evolution rely heavily on learning biases and learning pressures. Yet due to substantial differences in learning pressures, it is questionable whether the similarity between humans and machines is sufficient for insights to carry over and to be worth testing with human participants. Here, we review the emergent communication literature, a subfield of multi-agent reinforcement learning, from a language evolution perspective. We find that the emergent communication literature excels at designing and adapting models to recover initially absent linguistic phenomena of natural languages. Based on a short literature review, we identify key pressures that have recovered initially absent human patterns in emergent communication models: communicative success, efficiency, learnability, and other psycho-/sociolinguistic factors. We argue that this may serve as inspiration for how to design language models for language acquisition and language evolution research.
• Abstract（参考訳）: 言語モデルと人間は2種類の学習システムである。 共通点の発見や促進は、言語の獲得と進化に対する私たちの理解に大きなブレークスルーをもたらす可能性がある。 言語進化の多くの理論は、学習バイアスと学習圧力に大きく依存している。 しかし、学習のプレッシャーがかなり異なるため、人間と機械の類似性は、人間の参加者とテストする価値のある洞察に十分かどうか疑わしい。 本稿では,言語進化の観点から,多エージェント強化学習のサブフィールドである創発的コミュニケーション文献を概観する。 創発的なコミュニケーション文献は、自然言語の初期の欠落した言語現象を復元するためのモデルの設計と適応に長けている。 短い文献レビューに基づいて、コミュニケーションの成功、効率性、学習可能性、その他の心理・社会言語学的要因など、創発的コミュニケーションモデルにおいて、当初欠落していた人間のパターンを回復した重要なプレッシャーを同定する。 これは言語習得と言語進化研究のための言語モデルを設計する方法のインスピレーションになるかもしれない、と我々は主張する。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Towards More Human-like AI Communication: A Review of Emergent Communication Research [0.0]
  創発的コミュニケーション(英: Emergent Communication, Emecom)は、自然言語を利用できる人工エージェントの開発を目的とした研究分野である。 本稿では,文献の共通点と,それらが人間同士の相互作用にどのように関係しているかを概説する。 2つのサブカテゴリを特定し、その特性とオープンな課題を強調します。
  論文  参考訳（メタデータ） (2023-08-01T14:43:10Z)
• Communication Drives the Emergence of Language Universals in Neural Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
  ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。 我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
  論文  参考訳（メタデータ） (2023-01-30T17:22:33Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Emergent Communication for Understanding Human Language Evolution: What's Missing? [1.2891210250935146]
  構成性の出現と利益に関する3つの重要な現象について論じる。 これらのミスマッチの1つの可能性として、人間の重要な認知的・コミュニケーション的制約がまだ統合されていないことを挙げる。
  論文  参考訳（メタデータ） (2022-04-22T09:21:53Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
  我々は、数ショット$textit language coordinate$のタスクについて研究する。 リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。 これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
  論文  参考訳（メタデータ） (2021-07-12T19:26:11Z)
• Cetacean Translation Initiative: a roadmap to deciphering the communication of sperm whales [97.41394631426678]
  最近の研究では、非ヒト種における音響コミュニケーションを分析するための機械学習ツールの約束を示した。 マッコウクジラの大量生物音響データの収集と処理に必要な重要な要素について概説する。 開発された技術能力は、非人間コミュニケーションと動物行動研究を研究する幅広いコミュニティにおいて、クロス応用と進歩をもたらす可能性が高い。
  論文  参考訳（メタデータ） (2021-04-17T18:39:22Z)
• Emergent Multi-Agent Communication in the Deep Learning Era [26.764052787245728]
  言語を通して協力する能力は、人間の決定的な特徴である。 深層人工ネットワークの知覚、運動、計画能力が増大するにつれて、研究者らは対話する共通の言語を開発することができるかどうかを研究している。
  論文  参考訳（メタデータ） (2020-06-03T17:50:16Z)
• Experience Grounds Language [185.73483760454454]
  言語理解研究は、言語が記述する物理的世界と、それが促進する社会的相互作用とを関連づけることに失敗している。 テキストだけで訓練された後にタスクに取り組むための言語処理モデルの驚くべき効果にもかかわらず、成功した言語コミュニケーションは世界の共有経験に依存している。
  論文  参考訳（メタデータ） (2020-04-21T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。