論文の概要: As Easy as Rocket Science: Assessing the Ability of Large Language Models to Interpret Negation in Figurative Language

• arxiv url: http://arxiv.org/abs/2606.18922v1
• Date: Wed, 17 Jun 2026 10:50:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.122141
• Title: As Easy as Rocket Science: Assessing the Ability of Large Language Models to Interpret Negation in Figurative Language
• Title（参考訳）: ロケット科学と同じくらい簡単: 比喩的言語における否定を解釈する大規模言語モデルの能力を評価する
• Authors: Jasmine Owers, Edwin Simpson, Martha Lewis,
• Abstract要約: 比喩的言語と否定は、現在の言語モデルに挑戦する2つの分野である。 我々は、既存の図形言語のデータセットに対する新しいアノテーションセットを開発する。 データセット上で、さまざまな言語モデルをテストする。
• 参考スコア（独自算出の注目度）: 3.1306343282298084
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Figurative language and negation are two areas that challenge current language models, however, both are widely used throughout written and spoken language. Large language models (LLMs) are also widely used in everyday contexts where they cannot necessarily be tuned for a specific dataset. It is therefore essential to understand the ability of LLMs to correctly interpret text that includes both negation and figurative language. To investigate this, we develop a set of new annotations to an existing dataset of figurative language, and test a range of language models on the dataset. We find that the combination of negation and figurativeness can present a particular challenge, and that performance overall and across different negation types is particularly dependent on the prompt style used.
• Abstract（参考訳）: 比喩的言語と否定は、現在の言語モデルに挑戦する2つの分野であるが、どちらも書き言葉と話し言葉で広く使われている。 大規模な言語モデル(LLM)は、特定のデータセットに対して必ずしもチューニングできないような日常的なコンテキストでも広く使用されている。 したがって、否定と図形言語の両方を含むテキストを正しく解釈するLLMの能力を理解することが不可欠である。 そこで本研究では,既存の図形言語データセットに対する新しいアノテーションセットを開発し,そのデータセット上でさまざまな言語モデルをテストする。 否定と具象性の組み合わせは,特定の課題を呈しうること,また,さまざまな否定タイプをまたいだパフォーマンスは,特に使用するプロンプトスタイルに依存することが判明した。

関連論文リスト

• NLP Datasets for Idiom and Figurative Language Tasks [0.674975004449773]
  慣用的で比喩的な言語は、口語と文章の大部分を形成します。 ソーシャルメディアでは、この非公式言語は、大きな言語モデル(LLM)の人やトレーナーにとって、より容易に観測可能になっている。 微調整アプローチは最適であることが証明されているが、より優れた、より大規模なデータセットは、このギャップをさらに狭めるのに役立つ。
  論文  参考訳（メタデータ） (2025-11-20T13:28:05Z)
• Evaluating Large Language Models on Multiword Expressions in Multilingual and Code-Switched Contexts [2.519319150166215]
  本研究では,現在最先端の言語モデルが,潜在的に慣用的なマルチワード表現のあいまいさをどのように処理するかを評価する。 大きな言語モデルは、その強みにも拘わらず、ニュアンスド言語に苦戦している。
  論文  参考訳（メタデータ） (2025-04-10T16:39:28Z)
• Negation: A Pink Elephant in the Large Language Models' Room? [2.8078480738404]
  否定は文の意味を決定する鍵であり、論理的推論には不可欠である。 その重要性にもかかわらず、否定は大きな言語モデル(LLM)に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2025-03-28T13:04:41Z)
• Unnatural Languages Are Not Bugs but Features for LLMs [92.8332103170009]
  大規模言語モデル(LLM)は、ジェイルブレイクプロンプトなどの非可読テキストシーケンスを処理するために観察されている。 我々はこの認識に挑戦する体系的な調査を行い、非自然言語にはモデルで使用可能な潜在的特徴が含まれていることを示した。
  論文  参考訳（メタデータ） (2025-03-02T12:10:17Z)
• Infusing Prompts with Syntax and Semantics [0.0]
  本研究では,多種多様な構文情報や意味情報を大規模言語モデルに直接注入する効果を解析する。 言語分析によって言語モデルが大幅に向上し、これまでの最高のシステムを超えている点が示される。
  論文  参考訳（メタデータ） (2024-12-08T23:49:38Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。