論文の概要: Montague semantics and modifier consistency measurement in neural language models

• arxiv url: http://arxiv.org/abs/2212.04310v1
• Date: Mon, 10 Oct 2022 18:43:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-23 00:50:54.863320
• Title: Montague semantics and modifier consistency measurement in neural language models
• Title（参考訳）: ニューラルネットワークモデルにおけるモンタギュー意味論と修飾子一貫性測定
• Authors: Danilo S. Carvalho, Edoardo Manino, Julia Rozanova, Lucas Cordeiro, Andr\'e Freitas
• Abstract要約: 本研究は,現代言語モデルにおける構成行動の存在を測定する手法を提案する。 以上の結果から,現在のニューラル言語モデルは言語理論に従って一貫した動作をしないことが明らかとなった。 これは、現在の言語モデルが言語の真の基盤となる分散特性をキャプチャできないかどうかという問題を提起する。
• 参考スコア（独自算出の注目度）: 1.6799377888527685
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The recent dominance of distributional language representation models has elicited a variety of questions regarding their capabilities and intrinsic properties, one of which is the manifestation of compositional phenomena in natural language, which has significant implications towards explainability and safety/fairness in the use of such models. While most current research on compositionality has been directed towards improving performance of the representations on similarity tasks, this work proposes a methodology for measuring the presence of compositional behaviour in contemporary language models related to adjectival modifier phenomena in adjective-noun phrases. Our results show that current neural language models do not behave consistently according to the linguistic theories with regard to the evaluated intersective property, but on the other hand, the differences between adjective categories are noticeable in single adjective interactions, indicating that such differences are encoded in individual word representations, but they do not transfer generally in the expected way to the compositions. This raises the question of whether current language models are not capable of capturing the true underlying distributional properties of language, or whether linguistic theories from Montagovian tradition do not hold to distributional scrutiny.
• Abstract（参考訳）: 近年の分散言語表現モデルの優位性は,その能力と本質性に関する様々な疑問を提起している。その1つが自然言語における構成現象の顕在化であり,そのようなモデルの使用における説明可能性や安全性・公正性に重要な意味を持つ。 最近の構成性に関する研究は類似性課題における表現の性能向上に向けられているが、本研究は形容詞名詞句における形容詞修飾現象に関連する現代言語モデルにおける構成行動の存在を測定する手法を提案する。 以上の結果から,現在のニューラルランゲージモデルは,評価された間欠的性質に関して言語理論に従わないが,形容詞カテゴリー間の差異は単一形容詞相互作用において顕著であり,それらの差異は個々の単語表現に符号化されているが,一般的には期待される方法では合成に転送されないことが示された。 これは、現在の言語モデルが言語の真の分布特性を捉えることができないか、あるいはモンタゴビアの伝統による言語理論が分布の精査に耐えられないかという疑問を提起する。

関連論文リスト

• Investigating Idiomaticity in Word Representations [9.208145117062339]
  我々は2つの言語(英語とポルトガル語)における様々な水準の慣用性を持つ名詞に焦点をあてる。 そこで本研究では,各名詞の音韻性判定を含む最小対のデータセットについて,タイプレベルとトークンレベルの両方で示す。 AffinityとScaled similarityの詳細なメトリクスセットを定義し、モデルが慣用性の変化につながる可能性のある摂動に対してどれほど敏感であるかを判断する。
  論文  参考訳（メタデータ） (2024-11-04T21:05:01Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Integrating Linguistic Theory and Neural Language Models [2.870517198186329]
  理論的言語学とニューラル言語モデルが相互にどのように関係しているかを説明するためのケーススタディをいくつか提示する。 この論文は、言語モデルにおける構文意味インタフェースの異なる側面を探求する3つの研究に貢献する。
  論文  参考訳（メタデータ） (2022-07-20T04:20:46Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
  言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。 我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。 本稿では,構文研究における様々な研究課題の意義について概説する。
  論文  参考訳（メタデータ） (2021-10-17T18:25:23Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? [41.649440404203595]
  本稿では,ニューラルネットワークが自然言語の単調推論の体系性を学習できるかどうかを評価する手法を提案する。 単調性推論の4つの側面を考察し、モデルが異なるトレーニング/テスト分割における語彙的および論理的現象を体系的に解釈できるかどうかを検証する。
  論文  参考訳（メタデータ） (2020-04-30T14:48:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。