論文の概要: Do LLMs Understand Context? A Knowledge Graph-Based Evaluation Framework

• arxiv url: http://arxiv.org/abs/2609.30484v1
• Date: Thu, 24 Sep 2026 19:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.117821
• Title: Do LLMs Understand Context? A Knowledge Graph-Based Evaluation Framework
• Title（参考訳）: LLMは文脈を理解するか?知識グラフに基づく評価フレームワーク
• Abstract要約: 大規模言語モデル(LLM)における文脈理解は、与えられた文脈から関連情報を正しく抽出する能力を指す。 質問応答における文脈理解のための新しい知識グラフ(KG)に基づく評価フレームワークを提案する。 中心となるのは、構造的信号と意味的信号を組み合わせたハイブリッドな類似度尺度である、KGsのセマンティック構造類似度(S3KG)である。
• 参考スコア（独自算出の注目度）: 0.8150815269284862
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: While large language models (LLMs) have achieved remarkable linguistic capabilities, a profound question lingers at their core: do these models truly comprehend context or simply excel at pattern matching on an unprecedented scale? Contextual understanding in LLMs refers to the ability to correctly extract relevant information from a given context, integrate it into a coherent internal representation, and reason over it to produce factually consistent and contextually grounded responses. However, traditional methods such as BiLingual Evaluation Understudy (BLEU) and perplexity simply measure surface-level performance. This reveals a critical gap in question answering (QA), where responses must be contextually grounded rather than simply being memorized associations. To fill this void, we propose a novel knowledge graph (KG) based evaluation framework for LLM contextual understanding in QA. Central to this is Semantic Structural Similarity for KGs (S3KG), a hybrid similarity measure combining structural and semantic signals into a single score. In addition, a diagnostic analysis framework is developed to identify and categorize reasoning errors at the triplet level, enabling fine-grained analysis of model failures. Together, across nine benchmarks, S3KG achieves F1 gains of up to $+7.6$ points over the strongest baseline and AUROC up to $0.973$.
• Abstract（参考訳）: 大きな言語モデル(LLM)は目覚ましい言語機能を達成したが、その中核にある深い疑問は次のとおりである。 LLMにおける文脈理解は、与えられたコンテキストから関連した情報を正しく抽出し、それを一貫性のある内部表現に統合し、その上で事実的に一貫性があり、文脈的に基礎づけられた応答を生成する能力を指す。 しかし、BiLingual Evaluation Understudy (BLEU) や Perplexity といった従来の手法は、単に表面レベルの性能を測るだけである。 これは質問応答(QA)において重要なギャップを明らかにしており、応答は単に記憶された連想ではなく、文脈的に根拠付けられなければならない。 この空白を埋めるために,LLMの文脈理解のための新しい知識グラフ(KG)に基づく評価フレームワークを提案する。 中心となるのは、構造的信号と意味的信号を組み合わせたハイブリッドな類似度尺度である、KGsのセマンティック構造類似度(S3KG)である。 さらに、三重項レベルでの推論誤りを特定し分類する診断分析フレームワークを開発し、モデル故障のきめ細かい解析を可能にする。 9つのベンチマークで、S3KGは最強のベースラインに対して最大7.6ドル、AUROCは最大0.973ドルというF1ゲインを達成した。

関連論文リスト

• Evaluation of Contextual Understanding in Large Language Models [0.8150815269284862]
  大規模言語モデル(LLM)は多様なNLPタスクにまたがって優れた性能を示すが、実際の文脈理解を示す能力は未だ不明である。 パープレキシティ(perplexity)やバイリンガル評価(BiLingual Evaluation Understudy、BLEU)、表面レベルの精度といった従来の評価指標では、LLMが文脈情報をどのように抽出し、統合し、推論するかは明らかになっていない。 KGのセマンティック構造類似性を導入した知識グラフに基づく新しい評価フレームワーク(S3KG)を提案する。
  論文  参考訳（メタデータ） (2026-09-08T16:41:50Z)
• Can Unified Generation and Understanding Models Maintain Semantic Equivalence Across Different Output Modalities? [61.533560295383786]
  Unified Multimodal Large Language Models (U-MLLM) は、単一のアーキテクチャ内で理解と生成を統合する。 我々は,U-MLLMが画像のモダリティにおいて同じ結果をレンダリングするために必要な場合,意味的等価性を維持することができないことを観察する。 VGUBenchは、推論ロジックを生成の忠実性から切り離すためのフレームワークである。
  論文  参考訳（メタデータ） (2026-02-27T06:23:56Z)
• Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays [15.895792302323883]
  教育の文脈では、教師と学習者は解釈可能な特性レベルのフィードバックを必要とする。 本稿では,2つの相補的モデリングパラダイムを用いた特徴量に基づく自動弁別評価手法について検討する。 スコア・オーディナリティを明示的にモデル化することは、人間のレーダとの合意を著しく改善することを示します。
  論文  参考訳（メタデータ） (2026-02-04T14:30:52Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• SEAL: Self-Evolving Agentic Learning for Conversational Question Answering over Knowledge Graphs [28.59157823781425]
  SEALは、自己進化型エージェント学習に基づく、2段階のセマンティックパーシングフレームワークである。 SEALは、特にマルチホップ推論、比較、集約タスクにおいて、最先端のパフォーマンスを達成する。 その結果, 構造精度と計算効率の両面で有意な向上が認められた。
  論文  参考訳（メタデータ） (2025-12-04T14:52:30Z)
• Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
  大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。 既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。 近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
  論文  参考訳（メタデータ） (2025-06-11T12:03:52Z)
• Hallucinate, Ground, Repeat: A Framework for Generalized Visual Relationship Detection [6.253919624802853]
  本研究では,大規模言語モデル(LLM)を構造化されたリレーショナルプリミティブとして活用する,反復的なビジュアルグラウンドディングフレームワークを導入する。 予測最大化(EM)にインスパイアされた本手法は,LLMを用いて検出対象から候補シーングラフを生成することと,視覚モデルを用いてこれらの仮説を知覚的証拠(最大化)と整合させる訓練とを交互に行う。 オープンワールドVRDのための新しいベンチマークをVisual Genomeに導入し、21の予測付きで評価し、3つの設定で評価する。このモデルでは、LLMのみ、少数ショット、およびデバイアスベースラインを上回り、平均リコール(mR@50)を達成する。
  論文  参考訳（メタデータ） (2025-06-06T00:43:15Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。