論文の概要: Compositional Languages Emerge in a Neural Iterated Learning Model

• arxiv url: http://arxiv.org/abs/2002.01365v2
• Date: Mon, 17 Feb 2020 11:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 02:24:12.669111
• Title: Compositional Languages Emerge in a Neural Iterated Learning Model
• Title（参考訳）: ニューラルネットワーク反復学習モデルに現れる構成言語
• Authors: Yi Ren, Shangmin Guo, Matthieu Labeau, Shay B. Cohen, Simon Kirby
• Abstract要約: 構成性により、自然言語はより単純な組み合わせによって複雑な概念を表現することができる。 本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語の出現を促進する効果的なニューラル・イテレーテッド・ラーニング(NIL)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 27.495624644227888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The principle of compositionality, which enables natural language to represent complex concepts via a structured combination of simpler ones, allows us to convey an open-ended set of messages using a limited vocabulary. If compositionality is indeed a natural property of language, we may expect it to appear in communication protocols that are created by neural agents in language games. In this paper, we propose an effective neural iterated learning (NIL) algorithm that, when applied to interacting neural agents, facilitates the emergence of a more structured type of language. Indeed, these languages provide learning speed advantages to neural agents during training, which can be incrementally amplified via NIL. We provide a probabilistic model of NIL and an explanation of why the advantage of compositional language exist. Our experiments confirm our analysis, and also demonstrate that the emerged languages largely improve the generalizing power of the neural agent communication.
• Abstract（参考訳）: 合成性の原理は、自然言語がより単純な概念の構造化された組み合わせによって複雑な概念を表現することを可能にし、限られた語彙を用いてオープンなメッセージの集合を伝達することができる。 合成性が言語の自然な性質であるならば、言語ゲームで神経エージェントによって生成される通信プロトコルに現れることが期待できる。 本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語が出現するのを容易にする,効果的なニューラルイテレーテッド・ラーニング(nil)アルゴリズムを提案する。 実際、これらの言語はトレーニング中にニューラルエージェントに学習速度のアドバンテージを提供し、NILを介してインクリメンタルに増幅することができる。 我々は、NILの確率モデルと、なぜ合成言語の利点があるのかを説明する。 我々の実験は、我々の分析を確認し、出現した言語が神経エージェント通信の一般化能力を大幅に改善することを示した。

関連論文リスト

• SNeL: A Structured Neuro-Symbolic Language for Entity-Based Multimodal Scene Understanding [0.0]
  SNeL(Structured Neuro-symbolic Language, 構造化ニューラルシンボリック言語)は,マルチモーダルデータを処理するニューラルネットワークとのニュアンスな相互作用を容易にする汎用的なクエリ言語である。 SNeLの表現的インターフェースは、複雑なクエリの構築、論理演算と算術演算子、コンパレータ、ネストなどをサポートする。 我々の評価は、SNeLが複雑なニューラルネットワークとの相互作用を形作る可能性を示している。
  論文  参考訳（メタデータ） (2023-06-09T17:01:51Z)
• On the Correspondence between Compositionality and Imitation in Emergent Neural Communication [1.4610038284393165]
  我々の研究は、ディープ・ニューラル・エージェントがプレイするルイス・ゲームにおける構成性と模倣の関係を探求する。 教師付き学習は平均的な言語を作り出す傾向があり、強化学習はより構成的な言語に対する選択的な圧力をもたらす。
  論文  参考訳（メタデータ） (2023-05-22T11:41:29Z)
• What makes a language easy to deep-learn? Deep neural networks and humans similarly benefit from compositional structure [5.871583927216651]
  言語の基本的性質は、その構成構造であり、人間は新しい意味の形を作ることができる。 人間にとって、より構成的で透明な構造を持つ言語は、不透明で不規則な構造を持つ言語よりも学習しやすい。 この学習可能性の利点は、人間の言語学習のモデルとしての使用を制限するディープニューラルネットワークでは、まだ示されていない。
  論文  参考訳（メタデータ） (2023-02-23T18:57:34Z)
• Communication Drives the Emergence of Language Universals in Neural Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
  ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。 我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
  論文  参考訳（メタデータ） (2023-01-30T17:22:33Z)
• Benchmarking Compositionality with Formal Languages [64.09083307778951]
  我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。 多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。 モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
  論文  参考訳（メタデータ） (2022-08-17T10:03:18Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)
• Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models [32.27333420000134]
  ニューラルネットワークエンコーダが自然言語処理にどのような構造的知識を伝達できるかを考察する。 我々は、自然言語を模倣する構造的特性を持つ人工言語を設計し、データ上にエンコーダを事前訓練し、そのエンコーダが自然言語の下流タスクにどれだけの性能を示すかを確認する。
  論文  参考訳（メタデータ） (2022-03-19T13:29:48Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。