論文の概要: The quasi-semantic competence of LLMs: a case study on the part-whole relation

• arxiv url: http://arxiv.org/abs/2504.02395v1
• Date: Thu, 03 Apr 2025 08:41:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:57:04.580408
• Title: The quasi-semantic competence of LLMs: a case study on the part-whole relation
• Title（参考訳）: LLMの準セマンティック・コンピテンス--部分-全体関係のケーススタディ
• Authors: Mattia Proietti, Alessandro Lenci,
• Abstract要約: 我々は,アンフィパル・ホール関係,すなわちアンフェロニミーの知識について検討する。 Emphquasi-semantic'のモデルは、単にemphquasi-semantic'の能力を持つだけで、深い推論特性の取得には至っていないことを示す。
• 参考スコア（独自算出の注目度）: 53.37191762146552
• License:
• Abstract: Understanding the extent and depth of the semantic competence of \emph{Large Language Models} (LLMs) is at the center of the current scientific agenda in Artificial Intelligence (AI) and Computational Linguistics (CL). We contribute to this endeavor by investigating their knowledge of the \emph{part-whole} relation, a.k.a. \emph{meronymy}, which plays a crucial role in lexical organization, but it is significantly understudied. We used data from ConceptNet relations \citep{speer2016conceptnet} and human-generated semantic feature norms \citep{McRae:2005} to explore the abilities of LLMs to deal with \textit{part-whole} relations. We employed several methods based on three levels of analysis: i.) \textbf{behavioral} testing via prompting, where we directly queried the models on their knowledge of meronymy, ii.) sentence \textbf{probability} scoring, where we tested models' abilities to discriminate correct (real) and incorrect (asymmetric counterfactual) \textit{part-whole} relations, and iii.) \textbf{concept representation} analysis in vector space, where we proved the linear organization of the \textit{part-whole} concept in the embedding and unembedding spaces. These analyses present a complex picture that reveals that the LLMs' knowledge of this relation is only partial. They have just a ``\emph{quasi}-semantic'' competence and still fall short of capturing deep inferential properties.
• Abstract（参考訳）: 言語モデル(LLM)の意味的能力の程度と深さを理解することは、現在の人工知能(AI)と計算言語学(CL)の科学的課題の中心にある。 本研究は, 語彙的組織において重要な役割を担っている「emph{part-whole}関係」, 「emph{meronymy}」の知識を調査することによって, この取り組みに寄与するが, 著しく過小評価されている。 本研究では,コンセプションネット関係と人為的意味的特徴ノルムから得られたデータを用いて,LLMがtextit{part-whole}関係に対処する能力について検討した。 我々は3つの分析レベルに基づくいくつかの手法を採用した。 ) \textbf{behavioral} テストはプロンプトによって行う。 ここでは,正(実)と誤(非対称な反事実)の関係を識別するモデルの能力を検証し,三。 ) ベクトル空間における \textbf{concept representation} の解析を行い、埋め込み空間と非埋め込み空間における \textit{part-whole} 概念の線形構造を証明した。 これらの解析は、LLMのこの関係に関する知識が部分的であることを示す複雑な図形を示している。 それらは ``\emph{quasi}-semantic''' の能力しか持たず、深い推論特性の取得には至っていない。

関連論文リスト

• Formalizing Complex Mathematical Statements with LLMs: A Study on Mathematical Definitions [8.135142928659546]
  我々は、ウィキペディア(Def_Wiki)とarXiv論文(Def_ArXiv)から定義を収集する、自動形式化のための2つの新しいリソースを紹介する。 我々は、Isabelle/HOLに定義を形式化する能力を解析し、LLMの範囲を評価した。 以上の結果から, miniF2Fのような既存のベンチマークと比較して, 定義がより困難であることが判明した。
  論文  参考訳（メタデータ） (2025-02-17T17:34:48Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• Can Large Language Models Identify Authorship? [16.35265384114857]
  大規模言語モデル(LLM)は、推論と問題解決の特別な能力を示している。 1) LLM はゼロショット・エンド・ツー・エンドのオーサシップ検証を効果的に行うことができるか? 2) LLM は,複数の候補作家(例えば,10,20)の著者を正確に帰属させることができるか?
  論文  参考訳（メタデータ） (2024-03-13T03:22:02Z)
• Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
  我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。 LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。 我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-12-22T13:14:38Z)
• A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
  大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。 しかし、この文脈的基盤のメカニズムはいまだに不明である。 本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T17:35:42Z)
• IERL: Interpretable Ensemble Representation Learning -- Combining CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
  大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。 近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。 本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T05:02:34Z)
• Are Large Language Models Really Good Logical Reasoners? A Comprehensive Evaluation and Beyond [46.75497042978449]
  大規模言語モデル(LLM)は、自然言語処理(NLP)における注目すべき革新として登場した。 本論文では,このギャップを埋め,包括的に評価することを目的としている。 評価の包括性を考慮すると、3つの早期代表型LSMと4つのトレンド型LSMを含む。
  論文  参考訳（メタデータ） (2023-06-16T13:39:35Z)
• Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
  大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。 我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。 我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
  論文  参考訳（メタデータ） (2023-06-02T17:12:25Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Analytic Manifold Learning: Unifying and Evaluating Representations for Continuous Control [32.773203015440075]
  ストリーミング高次元観測から再利用可能な状態表現を学習する問題に対処する。 これは強化学習(Reinforcement Learning, RL)のような分野において重要であり、トレーニング中に非定常的なデータ分布を生成する。
  論文  参考訳（メタデータ） (2020-06-15T19:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。