論文の概要: Navigating Semantic Relations: Challenges for Language Models in Abstract Common-Sense Reasoning

• arxiv url: http://arxiv.org/abs/2502.14086v1
• Date: Wed, 19 Feb 2025 20:20:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:51.668090
• Title: Navigating Semantic Relations: Challenges for Language Models in Abstract Common-Sense Reasoning
• Title（参考訳）: 意味的関係をナビゲートする:抽象的常識推論における言語モデルへの挑戦
• Authors: Cole Gawin, Yidan Sun, Mayank Kejriwal,
• Abstract要約: 大規模言語モデル(LLM)は、人間のようなテキストを生成し、適度な複雑さの問題を解くことで、顕著な性能を達成した。 概念ネット知識グラフを用いて,LLMにおける抽象的常識推論を体系的に評価する。
• 参考スコア（独自算出の注目度）: 5.4141465747474475
• License:
• Abstract: Large language models (LLMs) have achieved remarkable performance in generating human-like text and solving reasoning tasks of moderate complexity, such as question-answering and mathematical problem-solving. However, their capabilities in tasks requiring deeper cognitive skills, such as common-sense understanding and abstract reasoning, remain under-explored. In this paper, we systematically evaluate abstract common-sense reasoning in LLMs using the ConceptNet knowledge graph. We propose two prompting approaches: instruct prompting, where models predict plausible semantic relationships based on provided definitions, and few-shot prompting, where models identify relations using examples as guidance. Our experiments with the gpt-4o-mini model show that in instruct prompting, consistent performance is obtained when ranking multiple relations but with substantial decline when the model is restricted to predicting only one relation. In few-shot prompting, the model's accuracy improves significantly when selecting from five relations rather than the full set, although with notable bias toward certain relations. These results suggest significant gaps still, even in commercially used LLMs' abstract common-sense reasoning abilities, compared to human-level understanding. However, the findings also highlight the promise of careful prompt engineering, based on selective retrieval, for obtaining better performance.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、人間のようなテキストを生成し、質問応答や数学的問題解決のような中程度の複雑さの推論タスクを解くことで、顕著な性能を達成している。 しかし、常識理解や抽象的推論といった深い認知スキルを必要とするタスクにおけるそれらの能力は、まだ探索されていないままである。 本論文では,概念ネット知識グラフを用いて,LLMにおける抽象的常識推論を体系的に評価する。 提案手法は,提案した定義に基づいてモデルが妥当なセマンティック関係を予測するインストラクション・プロンプトと,モデルが例を用いて関係をガイダンスとして識別するインストラクション・プロンプトである。 gpt-4o-miniモデルを用いた実験により,複数関係のランク付け時に一貫した性能が得られるが,1つの関係の予測に制限された場合,大幅に低下することがわかった。 数ショットのプロンプトでは、モデルの精度は、完全な集合ではなく5つの関係から選択するときに著しく向上するが、特定の関係に対して顕著な偏りがある。 これらの結果は,LLMの抽象的共通感覚推論能力においても,人間レベルの理解と比較して,大きなギャップが残っていることを示唆している。 しかし、この結果は、より優れた性能を得るために、選択的検索に基づく慎重な迅速なエンジニアリングの約束も強調している。

関連論文リスト

• Path-of-Thoughts: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models [62.12031550252253]
  本稿では,関係推論に対処するための新しいフレームワークであるPath-of-Thoughts(PoT)を提案する。 PoTは、問題コンテキスト内の重要なエンティティ、関係、属性を識別するタスクに依存しないグラフを効率的に抽出する。 PoTは、提案された質問に対応するグラフ内の関連する推論連鎖を特定し、潜在的な答えの推論を容易にする。
  論文  参考訳（メタデータ） (2024-12-23T20:27:12Z)
• KAAE: Numerical Reasoning for Knowledge Graphs via Knowledge-aware Attributes Learning [26.605386507466733]
  数値推論は自然言語処理やレコメンダシステムなど、さまざまな人工知能応用において重要である。 既存のアプローチは、セマンティックな関連性とセマンティックなあいまいさという、モデリングにおいて2つの重要な課題に直面する。 数値推論における知識グラフ埋め込みのための新しい知識認識属性埋め込みモデル(KAAE)を提案する。
  論文  参考訳（メタデータ） (2024-11-20T00:47:03Z)
• Verbalized Probabilistic Graphical Modeling with Large Language Models [8.961720262676195]
  この研究は、大規模言語モデルによる学習自由ベイズ推論を促進する新しいベイズ急進的アプローチを導入している。 本研究は,AI言語理解システムの改善の可能性を示すとともに,信頼性評価とテキスト生成品質を効果的に向上させることを示唆する。
  論文  参考訳（メタデータ） (2024-06-08T16:35:31Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Grasping the Essentials: Tailoring Large Language Models for Zero-Shot Relation Extraction [33.528688487954454]
  関係抽出(RE)は、テキスト内のエンティティ間の意味的関係を識別することを目的としている。 アノテーションの要求を減らすことを目的とした、ほとんどショットの学習は、通常、ターゲット関係に対する不完全で偏見のある監視を提供する。 1)大言語モデル(LLM)を利用して,関係定義とラベルなしコーパスから初期シードインスタンスを生成する。
  論文  参考訳（メタデータ） (2024-02-17T00:20:06Z)
• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。