論文の概要: Montague semantics and modifier consistency measurement in neural language models

• arxiv url: http://arxiv.org/abs/2212.04310v2
• Date: Mon, 3 Apr 2023 14:11:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 23:40:39.987520
• Title: Montague semantics and modifier consistency measurement in neural language models
• Title（参考訳）: ニューラルネットワークモデルにおけるモンタギュー意味論と修飾子一貫性測定
• Authors: Danilo S. Carvalho, Edoardo Manino, Julia Rozanova, Lucas Cordeiro, Andr\'e Freitas
• Abstract要約: 本研究では,現代言語モデルにおける構成行動を測定する手法を提案する。 具体的には,形容詞・名詞句における形容詞修飾子現象に着目した。 実験結果から,現在のニューラル言語モデルが期待される言語理論に従って,限られた範囲でのみ動作することが示唆された。
• 参考スコア（独自算出の注目度）: 1.6799377888527685
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In recent years, distributional language representation models have demonstrated great practical success. At the same time, the need for interpretability has elicited questions on their intrinsic properties and capabilities. Crucially, distributional models are often inconsistent when dealing with compositional phenomena in natural language, which has significant implications for their safety and fairness. Despite this, most current research on compositionality is directed towards improving their performance on similarity tasks only. This work takes a different approach, and proposes a methodology for measuring compositional behavior in contemporary language models. Specifically, we focus on adjectival modifier phenomena in adjective-noun phrases. We introduce three novel tests of compositional behavior inspired by Montague semantics. Our experimental results indicate that current neural language models behave according to the expected linguistic theories to a limited extent only. This raises the question of whether these language models are not able to capture the semantic properties we evaluated, or whether linguistic theories from Montagovian tradition would not match the expected capabilities of distributional models.
• Abstract（参考訳）: 近年,分布型言語表現モデルは非常に実践的な成功を収めている。 同時に、解釈可能性の必要性は、固有の特性と能力に関する疑問を提起している。 重要なことに、分布モデルはしばしば自然言語の合成現象を扱う際に矛盾し、それがそれらの安全性と公正性に重大な影響を及ぼす。 それにもかかわらず、構成性に関する最近の研究は、類似性タスクのみの性能を改善することを目的としている。 本研究は異なるアプローチを採り、現代言語モデルにおける構成行動を測定する手法を提案する。 具体的には,形容詞・名詞句における形容詞修飾現象に注目した。 モンタギュー意味論に触発された作曲行動の3つの新しいテストを紹介する。 実験の結果,現在のニューラルランゲージモデルは,期待される言語理論に限定して振る舞うことが示された。 このことは、これらの言語モデルが私たちが評価した意味的性質を捉えられないのか、あるいはモンゴルの伝統からの言語理論が分布モデルの期待する能力と一致しないのかという疑問を提起する。

関連論文リスト

• Investigating Idiomaticity in Word Representations [9.208145117062339]
  我々は2つの言語(英語とポルトガル語)における様々な水準の慣用性を持つ名詞に焦点をあてる。 そこで本研究では,各名詞の音韻性判定を含む最小対のデータセットについて,タイプレベルとトークンレベルの両方で示す。 AffinityとScaled similarityの詳細なメトリクスセットを定義し、モデルが慣用性の変化につながる可能性のある摂動に対してどれほど敏感であるかを判断する。
  論文  参考訳（メタデータ） (2024-11-04T21:05:01Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Integrating Linguistic Theory and Neural Language Models [2.870517198186329]
  理論的言語学とニューラル言語モデルが相互にどのように関係しているかを説明するためのケーススタディをいくつか提示する。 この論文は、言語モデルにおける構文意味インタフェースの異なる側面を探求する3つの研究に貢献する。
  論文  参考訳（メタデータ） (2022-07-20T04:20:46Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
  言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。 我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。 本稿では,構文研究における様々な研究課題の意義について概説する。
  論文  参考訳（メタデータ） (2021-10-17T18:25:23Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? [41.649440404203595]
  本稿では,ニューラルネットワークが自然言語の単調推論の体系性を学習できるかどうかを評価する手法を提案する。 単調性推論の4つの側面を考察し、モデルが異なるトレーニング/テスト分割における語彙的および論理的現象を体系的に解釈できるかどうかを検証する。
  論文  参考訳（メタデータ） (2020-04-30T14:48:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。