論文の概要: WiC is Not WSD: A Study on LLMs and Lexical Ambiguity Resolution

• arxiv url: http://arxiv.org/abs/2609.20593v1
• Date: Thu, 17 Sep 2026 15:45:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.358313
• Title: WiC is Not WSD: A Study on LLMs and Lexical Ambiguity Resolution
• Title（参考訳）: WiCはWSDではない:LLMと語彙曖昧性解決に関する研究
• Abstract要約: We evaluate open LLMs on word-in-context (WiC) and traditional Word Sense Disambiguation (WSD)。 従来のWSDと同様、候補感覚を提供することで、すべての設定でWiC性能が向上することがわかった。 人間による評価では、単純な語彙理解の失敗よりも、ラベルの曖昧さやアノテータの感覚境界のミスマッチを反映している。
• 参考スコア（独自算出の注目度）: 32.15043531351933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Word-in-Context (WiC) remains challenging for language models, despite recent progress on lexical-semantic tasks. We hypothesise that this difficulty arises not only from comparing two contextual uses of a word, but also from the absence of an explicit sense inventory that specifies the relevant level of semantic granularity. We evaluate open LLMs on WiC and traditional Word Sense Disambiguation (WSD) under similar settings. We find that providing candidate senses, similar to what is done in traditional WSD, improves WiC performance in all settings. In general, explicit sense information helps models make more consistent and targeted judgements. Human evaluation further shows that many apparent WiC errors reflect label ambiguity or mismatches between model and annotator sense boundaries rather than simple failures of lexical understanding. In particular, results show that LLMs overthink the sense distinction often leading to errors based on overly fine-grained distinctions.
• Abstract（参考訳）: ワード・イン・コンテキスト (Word-in-Context, WiC) は、語彙-意味的タスクの最近の進歩にもかかわらず、言語モデルでは依然として困難である。 この難しさは、単語の文脈的使用の比較だけでなく、意味的粒度の関連レベルを特定する明示的な感覚インベントリの欠如からも生じると仮定する。 WiC と従来の Word Sense Disambiguation (WSD) のオープン LLM を同様の設定で評価する。 従来のWSDと同様、候補感覚を提供することで、すべての設定でWiC性能が向上することがわかった。 一般に、明示的な感覚情報は、モデルがより一貫性があり、対象とする判断を下すのに役立つ。 人間の評価は、多くの明らかなWiCエラーは、単純な語彙的理解の失敗よりも、モデルとアノテータの感覚境界のあいまいさやミスマッチを反映していることを示している。 特に、LSMは感覚の区別を過度に考え、過度にきめ細かな区別に基づく誤りにつながることが示されている。

関連論文リスト

• Bridging Lexical Ambiguity and Vision: A Mini Review on Visual Word Sense Disambiguation [0.0]
  Visual Word Sense Disambiguationは、視覚言語タスクにおける語彙的曖昧性に取り組むのに役立つ。 VWSDは、最小のテキスト入力で曖昧な単語の正しい意味を見つけるために視覚的手がかりを使用する。 2016年から2025年にかけての研究では、特徴ベース、グラフベース、コントラスト埋め込み技術によるVWSDの成長について検討した。
  論文  参考訳（メタデータ） (2026-02-01T12:36:01Z)
• SMILE: A Composite Lexical-Semantic Metric for Question-Answering Evaluation [55.26111461168754]
  本稿では,文レベルの意味理解とキーワードレベルの意味理解と簡単なキーワードマッチングを組み合わせた新しいアプローチであるSemantic Metric Integrating Lexical Exactnessを紹介する。 人間の判断と計算学的に軽量であり、語彙的評価と意味的評価のギャップを埋める。
  論文  参考訳（メタデータ） (2025-11-21T17:30:18Z)
• Uncovering the Fragility of Trustworthy LLMs through Chinese Textual Ambiguity [16.065963688326242]
  中国語の曖昧な物語文に遭遇した大言語モデル(LLM)の信頼性について検討する。 我々は、文脈とそれに対応するあいまいなペアであいまいな文を収集し、生成することで、ベンチマークデータセットを作成しました。 あいまいさに対処する際, LLMに顕著な脆弱性がみられ, ヒトとは大きく異なる挙動がみられた。
  論文  参考訳（メタデータ） (2025-07-30T21:50:19Z)
• VISLA Benchmark: Evaluating Embedding Sensitivity to Semantic and Lexical Alterations [13.608653575298183]
  本稿では、言語モデルの意味的および語彙的理解を評価するために設計されたVISLAベンチマークを紹介する。 34の視覚言語モデル (VLM) と20の単言語モデル (ULM) による評価は、語彙と意味のバリエーションを区別するのに驚くほど困難であることを示している。
  論文  参考訳（メタデータ） (2024-04-25T07:08:00Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
  埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。 これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。 これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
  論文  参考訳（メタデータ） (2022-03-16T11:06:50Z)
• Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
  メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。 我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。 極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-05T20:40:01Z)
• SensPick: Sense Picking for Word Sense Disambiguation [1.1429576742016154]
  我々は,対象単語の文脈情報と関連する光沢情報の両方を用いて,単語とグルースの集合間の意味的関係をモデル化する。 We propose SensPick, a type of stacked bidirectional Long Short Term Memory (LSTM) network to perform the WSD task。
  論文  参考訳（メタデータ） (2021-02-10T04:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。