論文の概要: Compositionality and Generalization in Emergent Languages

• arxiv url: http://arxiv.org/abs/2004.09124v1
• Date: Mon, 20 Apr 2020 08:30:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 17:26:54.314401
• Title: Compositionality and Generalization in Emergent Languages
• Title（参考訳）: 創発言語における構成性と一般化
• Authors: Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, Marco Baroni
• Abstract要約: 深層マルチエージェントシミュレーションで現れる言語が、新しいプリミティブの組み合わせに類似する能力を持っているかどうかを考察する。 創発的言語の合成度合いと一般化能力の相関関係は見つからない。 構成的な言語が多ければ多いほど、新しい学習者が習得しやすくなります。
• 参考スコア（独自算出の注目度）: 42.68870559695238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language allows us to refer to novel composite concepts by combining expressions denoting their parts according to systematic rules, a property known as \emph{compositionality}. In this paper, we study whether the language emerging in deep multi-agent simulations possesses a similar ability to refer to novel primitive combinations, and whether it accomplishes this feat by strategies akin to human-language compositionality. Equipped with new ways to measure compositionality in emergent languages inspired by disentanglement in representation learning, we establish three main results. First, given sufficiently large input spaces, the emergent language will naturally develop the ability to refer to novel composite concepts. Second, there is no correlation between the degree of compositionality of an emergent language and its ability to generalize. Third, while compositionality is not necessary for generalization, it provides an advantage in terms of language transmission: The more compositional a language is, the more easily it will be picked up by new learners, even when the latter differ in architecture from the original agents. We conclude that compositionality does not arise from simple generalization pressure, but if an emergent language does chance upon it, it will be more likely to survive and thrive.
• Abstract（参考訳）: 自然言語は,「emph{compositionality}」という性質を体系的な規則に従って表現することで,新しい合成概念を表現できる。 本稿では, 深層マルチエージェントシミュレーションに現れる言語が, 新規なプリミティブな組み合わせに類似する能力を持っているか, 人間の言語構成性に類似した戦略によって, この成果を達成できるかを検討する。 表現学習における絡み合いに触発された創発的言語の構成性を測定する新しい方法を備えることにより,3つの主結果を得た。 まず、十分に大きな入力空間が与えられると、創発的言語は自然に新しい複合概念を参照する能力が発達する。 第二に、創発言語の構成性の程度と一般化する能力の間には相関関係がない。 第3に、構成性は一般化には必要ないが、言語伝達の観点からは利点がある: 構成的言語がより多くなればなるほど、後者が元のエージェントとアーキテクチャが異なる場合でも、新しい学習者によって習得される。 構成性は単純な一般化圧力から生じるものではないと結論づけるが、創発言語がそれにチャンスを与えたら、生き残り、繁栄する可能性が高い。

関連論文リスト

• Analyzing The Language of Visual Tokens [48.62180485759458]
  我々は、離散的な視覚言語を分析するために、自然言語中心のアプローチをとる。 トークンの高度化はエントロピーの増大と圧縮の低下を招き,トークンが主にオブジェクト部品を表すことを示す。 また、視覚言語には結合的な文法構造が欠如していることが示され、自然言語と比較して難易度が高く、階層構造が弱いことが判明した。
  論文  参考訳（メタデータ） (2024-11-07T18:59:28Z)
• A Complexity-Based Theory of Compositionality [53.025566128892066]
  AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T18:37:27Z)
• The Role of Linguistic Priors in Measuring Compositional Generalization of Vision-Language Models [64.43764443000003]
  我々は、言語的先行と画像とテキスト間の相互作用という、視覚言語的構成性の2つの源を同定する。 このような言語的前提を伴わない新しい構成性尺度を提案する。
  論文  参考訳（メタデータ） (2023-10-04T12:48:33Z)
• On the Correspondence between Compositionality and Imitation in Emergent Neural Communication [1.4610038284393165]
  我々の研究は、ディープ・ニューラル・エージェントがプレイするルイス・ゲームにおける構成性と模倣の関係を探求する。 教師付き学習は平均的な言語を作り出す傾向があり、強化学習はより構成的な言語に対する選択的な圧力をもたらす。
  論文  参考訳（メタデータ） (2023-05-22T11:41:29Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)
• Predicting emergent linguistic compositions through time: Syntactic frame extension via multimodal chaining [8.254139827478355]
  連鎖と多モーダル知識の認知機構を利用して、時間を通して構成表現を予測する枠組みを開発する。 本稿では,「知覚」,「概念」,「言語」から連鎖と知識の理論に基づく構文的フレーム拡張モデル(SFEM)を提案する。 マルチモーダルSFEMは、純粋言語的・非言語的知識を用いた競合モデルよりも、新たに出現した動詞構文と引数を予測できることを示す。
  論文  参考訳（メタデータ） (2021-09-10T03:42:07Z)
• The paradox of the compositionality of natural language: a neural machine translation case study [15.37696298313134]
  文献から3つの構成性テストを再確認し、ニューラルマシン翻訳(NMT)のために修正する。 NMTモデルの一貫性のない動作と(正しく)局所的処理と大域的処理の間を変調できないことの2つの主要な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2021-08-12T17:57:23Z)
• Emergent Language Generalization and Acquisition Speed are not tied to Compositionality [31.6793931695019]
  これらの有益性は構成性にのみゆるやかに結びついていると論じる。 2つの実験において、タスクによっては、非構成言語が等しく、より良く、一般化性能と獲得速度を示すことを示した。
  論文  参考訳（メタデータ） (2020-04-07T14:10:27Z)
• A Benchmark for Systematic Generalization in Grounded Language Understanding [61.432407738682635]
  人間は慣れ親しんだ部分から成り立つ不慣れな状況を記述する表現を容易に解釈する。 対照的に、現代のニューラルネットワークは、新しい構成を理解するのに苦労している。 位置言語理解における合成一般化を評価するための新しいベンチマークであるgSCANを導入する。
  論文  参考訳（メタデータ） (2020-03-11T08:40:15Z)
• Compositional Languages Emerge in a Neural Iterated Learning Model [27.495624644227888]
  構成性により、自然言語はより単純な組み合わせによって複雑な概念を表現することができる。 本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語の出現を促進する効果的なニューラル・イテレーテッド・ラーニング(NIL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-04T15:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。