論文の概要: Communication Drives the Emergence of Language Universals in Neural
Agents: Evidence from the Word-order/Case-marking Trade-off
- arxiv url: http://arxiv.org/abs/2301.13083v2
- Date: Thu, 1 Jun 2023 03:54:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-03 00:44:35.658738
- Title: Communication Drives the Emergence of Language Universals in Neural
Agents: Evidence from the Word-order/Case-marking Trade-off
- Title(参考訳): ニューラルエージェントにおける言語普遍性の創発を駆動するコミュニケーション:単語順/ケースマーキングトレードオフからの証拠
- Authors: Yuchen Lian, Arianna Bisazza, Tessa Verhoef
- Abstract要約: ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。
我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
- 参考スコア(独自算出の注目度): 3.631024220680066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial learners often behave differently from human learners in the
context of neural agent-based simulations of language emergence and change. A
common explanation is the lack of appropriate cognitive biases in these
learners. However, it has also been proposed that more naturalistic settings of
language learning and use could lead to more human-like results. We investigate
this latter account focusing on the word-order/case-marking trade-off, a widely
attested language universal that has proven particularly hard to simulate. We
propose a new Neural-agent Language Learning and Communication framework
(NeLLCom) where pairs of speaking and listening agents first learn a miniature
language via supervised learning, and then optimize it for communication via
reinforcement learning. Following closely the setup of earlier human
experiments, we succeed in replicating the trade-off with the new framework
without hard-coding specific biases in the agents. We see this as an essential
step towards the investigation of language universals with neural learners.
- Abstract(参考訳): 人工学習者は、神経エージェントに基づく言語の発生と変化のシミュレーションの文脈で、人間の学習者と異なる振る舞いをすることが多い。
一般的な説明は、学習者に適切な認知バイアスがないことである。
しかし、言語学習と使用のより自然主義的な設定が、より人間的な結果をもたらすことも提案されている。
本稿では,この単語順/ケースマーキングのトレードオフに着目し,特にシミュレーションが困難であることが証明された,広く証明された言語普遍性について考察する。
本稿では,会話エージェントと聞き取りエージェントのペアが教師付き学習を通じてまずミニチュア言語を学習し,強化学習によるコミュニケーションに最適化する,ニューラルエージェント型言語学習・コミュニケーションフレームワーク(nellcom)を提案する。
初期の人間実験のセットアップに追随して、エージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークとのトレードオフを複製することに成功した。
これは、ニューラル学習者による言語普遍性の調査に不可欠なステップだと考えています。
関連論文リスト
- Language Generation from Brain Recordings [68.97414452707103]
本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。
提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。
本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
論文 参考訳(メタデータ) (2023-11-16T13:37:21Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - On the Correspondence between Compositionality and Imitation in Emergent
Neural Communication [1.4610038284393165]
我々の研究は、ディープ・ニューラル・エージェントがプレイするルイス・ゲームにおける構成性と模倣の関係を探求する。
教師付き学習は平均的な言語を作り出す傾向があり、強化学習はより構成的な言語に対する選択的な圧力をもたらす。
論文 参考訳(メタデータ) (2023-05-22T11:41:29Z) - What Makes a Language Easy to Deep-Learn? [6.5990719141691825]
ニューラルネットワークが、その構造の程度によって異なる異なる入力言語を学習し、一般化する際に、人間とどのように比較するかをテストする。
より構造化された言語入力により,より体系的な一般化がもたらされる。
本研究は, 子どもの学習バイアスに関する明確な予測を導き, 小集団による言語の自動処理の課題を浮き彫りにした。
論文 参考訳(メタデータ) (2023-02-23T18:57:34Z) - What Artificial Neural Networks Can Tell Us About Human Language
Acquisition [47.761188531404066]
自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。
計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
論文 参考訳(メタデータ) (2022-08-17T00:12:37Z) - Multi-lingual agents through multi-headed neural networks [0.0]
本稿では,協調型マルチエージェント強化学習について述べる。
この文脈では、複数の異なる非互換言語が出現する。
我々は、連続学習の文献からインスピレーションを得て、エージェントを多言語化できるように、エージェントにマルチヘッドニューラルネットワークを装備する。
論文 参考訳(メタデータ) (2021-11-22T11:39:42Z) - Calibrate your listeners! Robust communication-based training for
pragmatic speakers [30.731870275051957]
本稿では,ニューラルリスナーの集団を用いた話者訓練の正規化手法を提案する。
言語ドリフトはニューラルリスナーの不確実性校正に起因していることを示す。
参照ゲームにおいて,両話者の目的を評価した結果,キャリブレーションを向上したアンサンブル方式により,話者が実用的な発話を生成できることが確認された。
論文 参考訳(メタデータ) (2021-10-11T17:07:38Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳(メタデータ) (2021-08-06T23:49:18Z) - Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
我々は、数ショット$textit language coordinate$のタスクについて研究する。
リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。
これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
論文 参考訳(メタデータ) (2021-07-12T19:26:11Z) - Meta-Transfer Learning for Code-Switched Speech Recognition [72.84247387728999]
低リソース環境下でのコード切替音声認識システムにおける学習を伝達するメタトランスファー学習法を提案する。
本モデルでは,コードスイッチングデータに最適化を条件付けることにより,個々の言語を識別し,混合言語音声をよりよく認識できるように変換する。
論文 参考訳(メタデータ) (2020-04-29T14:27:19Z) - Compositional Languages Emerge in a Neural Iterated Learning Model [27.495624644227888]
構成性により、自然言語はより単純な組み合わせによって複雑な概念を表現することができる。
本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語の出現を促進する効果的なニューラル・イテレーテッド・ラーニング(NIL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-04T15:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。