論文の概要: Evaluating Large Language Models on Multiword Expressions in Multilingual and Code-Switched Contexts

• arxiv url: http://arxiv.org/abs/2504.20051v1
• Date: Thu, 10 Apr 2025 16:39:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 01:46:36.922826
• Title: Evaluating Large Language Models on Multiword Expressions in Multilingual and Code-Switched Contexts
• Title（参考訳）: 多言語・コード切替文脈における多語表現における大規模言語モデルの評価
• Authors: Frances Laureano De Leon, Harish Tayyar Madabushi, Mark G. Lee,
• Abstract要約: 本研究では,現在最先端の言語モデルが,潜在的に慣用的なマルチワード表現のあいまいさをどのように処理するかを評価する。 大きな言語モデルは、その強みにも拘わらず、ニュアンスド言語に苦戦している。
• 参考スコア（独自算出の注目度）: 2.519319150166215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiword expressions, characterised by non-compositional meanings and syntactic irregularities, are an example of nuanced language. These expressions can be used literally or idiomatically, leading to significant changes in meaning. While large language models have demonstrated strong performance across many tasks, their ability to handle such linguistic subtleties remains uncertain. Therefore, this study evaluates how state-of-the-art language models process the ambiguity of potentially idiomatic multiword expressions, particularly in contexts that are less frequent, where models are less likely to rely on memorisation. By evaluating models across in Portuguese and Galician, in addition to English, and using a novel code-switched dataset and a novel task, we find that large language models, despite their strengths, struggle with nuanced language. In particular, we find that the latest models, including GPT-4, fail to outperform the xlm-roBERTa-base baselines in both detection and semantic tasks, with especially poor performance on the novel tasks we introduce, despite its similarity to existing tasks. Overall, our results demonstrate that multiword expressions, especially those which are ambiguous, continue to be a challenge to models.
• Abstract（参考訳）: 非合成的意味と構文的不規則によって特徴づけられるマルチワード表現はニュアンス言語の一例である。 これらの表現は文字通りまたは慣用的に使用することができ、意味に大きな変化をもたらす。 大規模言語モデルは多くのタスクにおいて強い性能を示してきたが、そのような言語的な微妙さを扱う能力はいまだに不明である。 そこで本研究では,現在最先端の言語モデルが,潜在的慣用的なマルチワード表現のあいまいさをどのように処理するかを評価する。 ポルトガル語とガリシア語にまたがるモデルを評価することによって、英語に加えて、新しいコード変更データセットと新しいタスクを使用することで、大きな言語モデルが、その強みにもかかわらず、ニュアンスド言語に苦しむことが分かる。 特に、GPT-4を含む最新のモデルでは、既存のタスクと類似性にもかかわらず、新しいタスクにおいて特に性能が劣っているため、検出タスクと意味タスクの両方において、xlm-roBERTaベースラインを上回りません。 全体としては、特にあいまいな表現はモデルにとって課題であり続けている。

関連論文リスト

• Infusing Prompts with Syntax and Semantics [0.0]
  本研究では,多種多様な構文情報や意味情報を大規模言語モデルに直接注入する効果を解析する。 言語分析によって言語モデルが大幅に向上し、これまでの最高のシステムを超えている点が示される。
  論文  参考訳（メタデータ） (2024-12-08T23:49:38Z)
• Generating Continuations in Multilingual Idiomatic Contexts [2.0849578298972835]
  非合成図形テキストを含むニュアンス言語理解における生成言語モデル(LM)の能力を検証する。 3つの異なるトレーニング設定の下で、2つの異なる言語(英語とポルトガル語)でデータセットを使用して実験を行う。 以上の結果から,本モデルでは慣用的文脈よりも文脈の連続性をわずかに向上し,マージンが極端に小さいことが示唆された。
  論文  参考訳（メタデータ） (2023-10-31T05:40:33Z)
• Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
  本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。 大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
  論文  参考訳（メタデータ） (2023-10-23T03:48:24Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。