論文の概要: Evaluating Semantic Relation Knowledge through Bidirectional Relation Prediction from Gloss Pairs

• arxiv url: http://arxiv.org/abs/2610.14442v1
• Date: Sat, 10 Oct 2026 01:16:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 21:31:45.607914
• Title: Evaluating Semantic Relation Knowledge through Bidirectional Relation Prediction from Gloss Pairs
• Title（参考訳）: グラスペアからの双方向関係予測による意味的関係知識の評価
• Abstract要約: 大規模言語モデル(LLM)の意味的関係知識を評価する。 我々は,英語,ギリシャ語,ルーマニア語,トルコ語,日本語で発音された3,069の感覚ペアのデータセットを構築した。 ゼロショットと5ショット設定で17LLMを使用した実験では、一般的にパフォーマンスが低かった。
• 参考スコア（独自算出の注目度）: 15.824980765392029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic relations organise word senses and are fundamental to lexical semantics. In order to evaluate semantic relation knowledge of large language models (LLMs), we propose a challenging task in which an LLM predicts the relation between two glosses (definitions of senses) presented in two different orders. The predictions for the two orders are evaluated for consistency with the symmetry or asymmetry of semantic relations. Our task is designed for both monolingual and cross-lingual evaluation, allowing us to examine whether relation knowledge remains accessible when the same senses are verbalised through glosses in different languages. We construct a dataset of 3,069 sense pairs, with each sense verbalised in English, Greek, Romanian, Turkish, and Japanese. Experiments with 17 LLMs in zero-shot and five-shot settings reveal generally poor performance. In each setting, only eight LLMs achieve a macro-averaged F1 score significantly above a random baseline, and only one (zero-shot) and two (five-shot) significantly outperform a neural baseline. In particular, LLMs often fail to generate bidirectionally consistent predictions for hypernymy and to make correct predictions for holonymy in either direction. Our results suggest limitations in current LLMs' semantic relation knowledge, both in identifying relations and in respecting asymmetry.
• Abstract（参考訳）: 意味関係は単語感覚を整理し、語彙意味論の基礎となる。 大規模言語モデル(LLM)の意味的関係知識を評価するために,LLMが2つの異なる順序で提示される2つのグルース(感覚の定義)の関係を予測できる課題を提案する。 2つの順序の予測は、意味関係の対称性または非対称性との整合性のために評価される。 この課題は単言語と言語間評価の両方のために設計されており、同じ感覚が異なる言語における声楽を通して言語化されるときに、関係知識が引き続きアクセス可能であるかどうかを調べることができる。 我々は,英語,ギリシャ語,ルーマニア語,トルコ語,日本語で発音された3,069の感覚ペアのデータセットを構築した。 ゼロショットと5ショット設定で17LLMを使用した実験では、一般的にパフォーマンスが低かった。 各設定において、マクロ平均F1スコアはランダムベースラインより有意に高く、神経ベースラインより著しく優れているのは、1つ(ゼロショット)と2つ(5ショット)のみである。 特に、LSMは、ハイパーネミーの双方向的に一貫した予測を生成したり、どちらの方向でも正しいホロネミーの予測を行うことができないことが多い。 以上の結果から,現在のLLMのセマンティックリレーショナルナレッジにおいて,関係の同定と非対称性の尊重の両面での限界が示唆された。

関連論文リスト

• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
  スペイン語の単言語モデルと多言語BERTモデルを用いて、文脈におけるスペイン語のあいまいな名詞の意味表現を評価する。 様々な BERT ベースの LM の文脈的意味表現は、人間の判断に多少の違いがあるが、ヒトのベンチマークには及ばない。
  論文  参考訳（メタデータ） (2024-06-20T18:58:11Z)
• Semantic Consistency for Assuring Reliability of Large Language Models [9.040736633675136]
  大規模言語モデル(LLM)は、様々な自然言語タスクに対して顕著な流布と能力を示す。 セマンティック一貫性の一般的な尺度を導入し、様々なLLMの性能を評価するために、この指標の複数バージョンを定式化する。 本稿では,Ask-to-Choose (A2C) と呼ばれる新しいプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2023-08-17T18:11:33Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
  我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。 LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。 結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
  論文  参考訳（メタデータ） (2023-05-01T18:22:10Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。