論文の概要: Communication Drives the Emergence of Language Universals in Neural
Agents: Evidence from the Word-order/Case-marking Trade-off
- arxiv url: http://arxiv.org/abs/2301.13083v1
- Date: Mon, 30 Jan 2023 17:22:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 13:47:04.483087
- Title: Communication Drives the Emergence of Language Universals in Neural
Agents: Evidence from the Word-order/Case-marking Trade-off
- Title（参考訳）: ニューラルエージェントにおける言語普遍性の創発を駆動するコミュニケーション:単語順/ケースマーキングトレードオフからの証拠
- Authors: Yuchen Lian, Arianna Bisazza, Tessa Verhoef
- Abstract要約: 言語学習と使用のより自然主義的な設定は、より人間的な結果をもたらす可能性がある。
提案するNeLLCom(Near-agent Language Learning and Communication framework)では,まず2組の会話エージェントと聞き取りエージェントが与えられたミニチュア言語を学習する。
我々はエージェントの学習バイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
- 参考スコア（独自算出の注目度）: 3.631024220680066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial learners often behave differently from human learners in the
context of neural agent-based simulations of language emergence and change. The
lack of appropriate cognitive biases in these learners is one of the prevailing
explanations. However, it has also been proposed that more naturalistic
settings of language learning and use could lead to more human-like results. In
this work, we investigate the latter account focusing on the
word-order/case-marking trade-off, a widely attested language universal which
has proven particularly difficult to simulate. We propose a new Neural-agent
Language Learning and Communication framework (NeLLCom) where pairs of speaking
and listening agents first learn a given miniature language through supervised
learning, and then optimize it for communication via reinforcement learning.
Following closely the setup of earlier human experiments, we succeed in
replicating the trade-off with the new framework without hard-coding any
learning bias in the agents. We see this as an essential step towards the
investigation of language universals with neural learners.
- Abstract（参考訳）: 人工学習者は、神経エージェントに基づく言語の発生と変化のシミュレーションの文脈で、人間の学習者と異なる振る舞いをすることが多い。
これらの学習者における適切な認知バイアスの欠如は、一般的な説明の1つである。
しかし、言語学習と使用のより自然主義的な設定が、より人間的な結果をもたらすことも提案されている。
本稿では,特にシミュレートが困難であることが証明された,単語順序/ケースマークのトレードオフに着目した後者の説明について検討する。
ニューラルエージェント言語学習・コミュニケーションフレームワーク(NeLLCom)を提案する。このフレームワークは,まず,教師付き学習を通じて与えられたミニチュア言語を学習し,さらに強化学習によるコミュニケーションのために最適化する。
初期の人間実験のセットアップに追随して、エージェントの学習バイアスをハードコーディングすることなく、新しいフレームワークとのトレードオフを複製することに成功した。
これは、ニューラル学習者による言語普遍性の調査に不可欠なステップだと考えています。
関連論文リスト
- Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use [16.425032085699698]
具体的エージェントは、人間の言語を活用して、学習タスクの明示的または暗黙的な知識を得る能力を持つことが望ましい。
タスク学習を容易にするために、リッチ言語をどのように組み込むかは明確ではない。
本稿では,強化学習における言語入力の種類について検討する。
論文 参考訳（メタデータ） (2024-10-31T17:59:52Z) - Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。
検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。
言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文 参考訳（メタデータ） (2024-10-22T09:25:21Z) - Unveiling the pressures underlying language learning and use in neural networks, large language models, and humans: Lessons from emergent machine-to-machine communication [5.371337604556311]
本稿では,ニューラルエージェントと人間の言語行動のミスマッチが解決された3症例について概説する。
我々は、コミュニケーションの成功、生産努力、学習可能性、その他の心理・社会言語学的要因といった、言語学習と台頭のための重要なプレッシャーを識別する。
論文 参考訳（メタデータ） (2024-03-21T14:33:34Z) - Language Generation from Brain Recordings [68.97414452707103]
本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。
提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。
本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
論文 参考訳（メタデータ） (2023-11-16T13:37:21Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳（メタデータ） (2023-06-04T15:44:51Z) - What Artificial Neural Networks Can Tell Us About Human Language
Acquisition [47.761188531404066]
自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。
計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
論文 参考訳（メタデータ） (2022-08-17T00:12:37Z) - Multi-lingual agents through multi-headed neural networks [0.0]
本稿では,協調型マルチエージェント強化学習について述べる。
この文脈では、複数の異なる非互換言語が出現する。
我々は、連続学習の文献からインスピレーションを得て、エージェントを多言語化できるように、エージェントにマルチヘッドニューラルネットワークを装備する。
論文 参考訳（メタデータ） (2021-11-22T11:39:42Z) - Calibrate your listeners! Robust communication-based training for
pragmatic speakers [30.731870275051957]
本稿では,ニューラルリスナーの集団を用いた話者訓練の正規化手法を提案する。
言語ドリフトはニューラルリスナーの不確実性校正に起因していることを示す。
参照ゲームにおいて,両話者の目的を評価した結果,キャリブレーションを向上したアンサンブル方式により,話者が実用的な発話を生成できることが確認された。
論文 参考訳（メタデータ） (2021-10-11T17:07:38Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
我々は、数ショット$textit language coordinate$のタスクについて研究する。
リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。
これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
論文 参考訳（メタデータ） (2021-07-12T19:26:11Z) - Compositional Languages Emerge in a Neural Iterated Learning Model [27.495624644227888]
構成性により、自然言語はより単純な組み合わせによって複雑な概念を表現することができる。
本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語の出現を促進する効果的なニューラル・イテレーテッド・ラーニング(NIL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-04T15:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。