論文の概要: The paradox of the compositionality of natural language: a neural machine translation case study

• arxiv url: http://arxiv.org/abs/2108.05885v1
• Date: Thu, 12 Aug 2021 17:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-13 15:21:16.519972
• Title: The paradox of the compositionality of natural language: a neural machine translation case study
• Title（参考訳）: 自然言語の構成性のパラドックス--ニューラルマシン翻訳の事例研究
• Authors: Verna Dankers, Elia Bruni and Dieuwke Hupkes
• Abstract要約: 文献から3つの構成性テストを再確認し、ニューラルマシン翻訳(NMT)のために修正する。 NMTモデルの一貫性のない動作と(正しく)局所的処理と大域的処理の間を変調できないことの2つの主要な課題を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 15.37696298313134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Moving towards human-like linguistic performance is often argued to require compositional generalisation. Whether neural networks exhibit this ability is typically studied using artificial languages, for which the compositionality of input fragments can be guaranteed and their meanings algebraically composed. However, compositionality in natural language is vastly more complex than this rigid, arithmetics-like version of compositionality, and as such artificial compositionality tests do not allow us to draw conclusions about how neural models deal with compositionality in more realistic scenarios. In this work, we re-instantiate three compositionality tests from the literature and reformulate them for neural machine translation (NMT). The results highlight two main issues: the inconsistent behaviour of NMT models and their inability to (correctly) modulate between local and global processing. Aside from an empirical study, our work is a call to action: we should rethink the evaluation of compositionality in neural networks of natural language, where composing meaning is not as straightforward as doing the math.
• Abstract（参考訳）: 人間のような言語パフォーマンスへの移行は、しばしば構成の一般化を必要とすると論じられる。 この能力を示すニューラルネットワークが一般的に人工言語を用いて研究され、入力フラグメントの構成性が保証され、その意味が代数的に合成される。 しかし、自然言語の合成性はこの厳密な算術的な構成性よりもはるかに複雑であり、そのような人工的な構成性テストは、より現実的なシナリオにおけるニューラルモデルがどのように構成性を扱うかについての結論を引き出すことができない。 本研究では,3つの構成性試験を文献から再検証し,ニューラルマシン翻訳(NMT)のために再検討する。 NMTモデルの一貫性のない動作と(正しく)局所的処理と大域的処理の間を変調できないことの2つの主要な課題を浮き彫りにしている。 私たちは、自然言語のニューラルネットワークにおける構成性の評価を再考する必要があります。

関連論文リスト

• A Complexity-Based Theory of Compositionality [53.025566128892066]
  AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T18:37:27Z)
• Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning? [31.692400722222278]
  算術的シンボリック推論において、構成性に関するスキルツリーを導入し、階層的な複雑性レベルと3つの構成性次元(体系性、生産性、置換性)を定義する。 実験の結果, 3種類の構成のうち, モデルが最も体系性に苦慮し, 比較的単純な構成でも性能が劣っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-02-15T18:59:04Z)
• Recursive Neural Networks with Bottlenecks Diagnose (Non-)Compositionality [65.60002535580298]
  データの構成性の定量化は難しい課題であり、主に短い発話のために研究されている。 モデルにおけるデータの表現とボトルネックの有無を比較することで,構成性の測定値が得られることを示す。 本手法は、合成データを用いた算術式の評価と、自然言語データを用いた感情分類に適用する。
  論文  参考訳（メタデータ） (2023-01-31T15:46:39Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• Decomposing lexical and compositional syntax and semantics with deep language models [82.81964713263483]
  GPT2のような言語変換器の活性化は、音声理解中の脳活動に線形にマップすることが示されている。 本稿では,言語モデルの高次元アクティベーションを,語彙,構成,構文,意味表現の4つのクラスに分類する分類法を提案する。 その結果は2つの結果が浮かび上がった。 まず、構成表現は、語彙よりも広範な皮質ネットワークを募集し、両側の側頭、頭頂、前頭前皮質を包含する。
  論文  参考訳（メタデータ） (2021-03-02T10:24:05Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)
• Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? [41.649440404203595]
  本稿では,ニューラルネットワークが自然言語の単調推論の体系性を学習できるかどうかを評価する手法を提案する。 単調性推論の4つの側面を考察し、モデルが異なるトレーニング/テスト分割における語彙的および論理的現象を体系的に解釈できるかどうかを検証する。
  論文  参考訳（メタデータ） (2020-04-30T14:48:39Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)
• Compositional Languages Emerge in a Neural Iterated Learning Model [27.495624644227888]
  構成性により、自然言語はより単純な組み合わせによって複雑な概念を表現することができる。 本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語の出現を促進する効果的なニューラル・イテレーテッド・ラーニング(NIL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-04T15:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。