論文の概要: Learning and communication pressures in neural networks: Lessons from emergent communication

• arxiv url: http://arxiv.org/abs/2403.14427v3
• Date: Wed, 27 Nov 2024 14:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:24:00.503649
• Title: Learning and communication pressures in neural networks: Lessons from emergent communication
• Title（参考訳）: ニューラルネットワークにおける学習とコミュニケーション : 創発的コミュニケーションから学ぶ
• Authors: Lukas Galke, Limor Raviv,
• Abstract要約: ニューラルエージェントの言語行動と人間とのミスマッチが解決された3症例について検討した。 我々は、コミュニケーションの成功、生産努力、学習可能性、その他の心理・社会言語学的要因といった、言語学習と台頭のための重要なプレッシャーを識別する。
• 参考スコア（独自算出の注目度）: 5.371337604556311
• License:
• Abstract: Finding and facilitating commonalities between the linguistic behaviors of large language models and humans could lead to major breakthroughs in our understanding of the acquisition, processing, and evolution of language. However, most findings on human-LLM similarity can be attributed to training on human data. The field of emergent machine-to-machine communication provides an ideal testbed for discovering which pressures are neural agents naturally exposed to when learning to communicate in isolation, without any human language to start with. Here, we review three cases where mismatches between the emergent linguistic behavior of neural agents and humans were resolved thanks to introducing theoretically-motivated inductive biases. By contrasting humans, large language models, and emergent communication agents, we then identify key pressures at play for language learning and emergence: communicative success, production effort, learnability, and other psycho-/sociolinguistic factors. We discuss their implications and relevance to the field of language evolution and acquisition. By mapping out the necessary inductive biases that make agents' emergent languages more human-like, we not only shed light on the underlying principles of human cognition and communication, but also inform and improve the very use of these models as valuable scientific tools for studying language learning, processing, use, and representation more broadly.
• Abstract（参考訳）: 大きな言語モデルと人間の言語行動の共通点を見つけ、促進することは、言語の獲得、処理、進化に対する我々の理解に大きなブレークスルーをもたらす可能性がある。 しかしながら、人間-LLM類似性に関するほとんどの発見は、人間のデータによるトレーニングによるものと考えられる。 創発的な機械間通信の分野は、人間の言葉を使わずに、独立したコミュニケーションを学ぶ際に、どの圧力が神経エージェントに自然に曝されるかを発見するための理想的なテストベッドを提供する。 本稿では, 理論的動機付けによる帰納的バイアスの導入により, ニューラルエージェントと人間の言語行動のミスマッチが解消された3症例について概説する。 人間や大きな言語モデル、創発的なコミュニケーションエージェントと対比することにより、コミュニケーションの成功、生産努力、学習可能性、その他の心理的・社会的要因など、言語学習と出現のための重要なプレッシャーを識別する。 言語進化と獲得の分野におけるそれらの意味と関連性について論じる。 エージェントの創発的言語をより人間らしくするために必要な帰納的バイアスをマッピングすることによって、人間の認知とコミュニケーションの根底にある原則に光を当てるだけでなく、言語学習、処理、使用、表現をより広く研究するための貴重な科学的ツールとして、これらのモデルの利用を通知し改善する。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Towards More Human-like AI Communication: A Review of Emergent Communication Research [0.0]
  創発的コミュニケーション(英: Emergent Communication, Emecom)は、自然言語を利用できる人工エージェントの開発を目的とした研究分野である。 本稿では,文献の共通点と,それらが人間同士の相互作用にどのように関係しているかを概説する。 2つのサブカテゴリを特定し、その特性とオープンな課題を強調します。
  論文  参考訳（メタデータ） (2023-08-01T14:43:10Z)
• Communication Drives the Emergence of Language Universals in Neural Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
  ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。 我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
  論文  参考訳（メタデータ） (2023-01-30T17:22:33Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Emergent Communication for Understanding Human Language Evolution: What's Missing? [1.2891210250935146]
  構成性の出現と利益に関する3つの重要な現象について論じる。 これらのミスマッチの1つの可能性として、人間の重要な認知的・コミュニケーション的制約がまだ統合されていないことを挙げる。
  論文  参考訳（メタデータ） (2022-04-22T09:21:53Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
  我々は、数ショット$textit language coordinate$のタスクについて研究する。 リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。 これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
  論文  参考訳（メタデータ） (2021-07-12T19:26:11Z)
• Cetacean Translation Initiative: a roadmap to deciphering the communication of sperm whales [97.41394631426678]
  最近の研究では、非ヒト種における音響コミュニケーションを分析するための機械学習ツールの約束を示した。 マッコウクジラの大量生物音響データの収集と処理に必要な重要な要素について概説する。 開発された技術能力は、非人間コミュニケーションと動物行動研究を研究する幅広いコミュニティにおいて、クロス応用と進歩をもたらす可能性が高い。
  論文  参考訳（メタデータ） (2021-04-17T18:39:22Z)
• Emergent Multi-Agent Communication in the Deep Learning Era [26.764052787245728]
  言語を通して協力する能力は、人間の決定的な特徴である。 深層人工ネットワークの知覚、運動、計画能力が増大するにつれて、研究者らは対話する共通の言語を開発することができるかどうかを研究している。
  論文  参考訳（メタデータ） (2020-06-03T17:50:16Z)
• Experience Grounds Language [185.73483760454454]
  言語理解研究は、言語が記述する物理的世界と、それが促進する社会的相互作用とを関連づけることに失敗している。 テキストだけで訓練された後にタスクに取り組むための言語処理モデルの驚くべき効果にもかかわらず、成功した言語コミュニケーションは世界の共有経験に依存している。
  論文  参考訳（メタデータ） (2020-04-21T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。