Fugu-MT 論文翻訳(概要): Evaluation of Contextual Understanding in Large Language Models

論文の概要: Evaluation of Contextual Understanding in Large Language Models

arxiv url: http://arxiv.org/abs/2609.09004v1
Date: Tue, 08 Sep 2026 16:41:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.696908
Title: Evaluation of Contextual Understanding in Large Language Models
Title（参考訳）: 大規模言語モデルにおける文脈理解の評価
Abstract要約: 大規模言語モデル(LLM)は多様なNLPタスクにまたがって優れた性能を示すが、実際の文脈理解を示す能力は未だ不明である。パープレキシティ(perplexity)やバイリンガル評価(BiLingual Evaluation Understudy、BLEU)、表面レベルの精度といった従来の評価指標では、LLMが文脈情報をどのように抽出し、統合し、推論するかは明らかになっていない。 KGのセマンティック構造類似性を導入した知識グラフに基づく新しい評価フレームワーク(S3KG)を提案する。
参考スコア（独自算出の注目度）: 0.8150815269284862
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) demonstrate impressive performance across diverse NLP tasks, yet their ability to exhibit genuine contextual understanding remains uncertain. Traditional evaluation metrics such as perplexity, BiLingual Evaluation Understudy (BLEU), or surface-level accuracy fail to reveal how well LLMs extract, integrate, and reason over contextual information--a gap particularly critical in question answering, where models must align responses with contextually grounded knowledge rather than memorized associations. We propose a novel knowledge graph-based evaluation framework introducing Semantic Structural Similarity for KGs (S3KG), a hybrid similarity measure integrating structural and semantic similarity into a continuous evaluation score, alongside a diagnostic framework for categorizing reasoning errors. To validate this pipeline, we evaluate S3KG against established metrics on a curated question-answer (QA) benchmark, demonstrating its effectiveness in measuring correctness, faithfulness, and interpretability in LLM-generated responses.
Abstract（参考訳）: 大規模言語モデル(LLM)は多様なNLPタスクにまたがって優れた性能を示すが、実際の文脈理解を示す能力は未だ不明である。パープレキシティ(perplexity)やバイリンガル評価(BiLingual Evaluation Understudy, BLEU)といった従来の評価指標、あるいは表面レベルの精度は、LLMがいかにうまく抽出し、統合し、文脈情報よりも理由を抽出するかを明らかにするのに失敗する。そこで我々は,KGsのセマンティック構造類似度(S3KG)を導入した新しい知識グラフに基づく評価フレームワークを提案し,構造類似度と意味類似度を連続的な評価スコアに統合するハイブリッド類似度尺度と,推論誤りを分類する診断フレームワークを提案する。このパイプラインを検証するために、我々は、検証済み質問回答(QA)ベンチマークで確立されたメトリクスに対してS3KGを評価し、LLM生成応答における正当性、忠実性、解釈可能性の測定の有効性を実証した。

関連論文リスト

Counterfactual Benchmarking and Training for Factuality Consistency and Order-Robust Grounded Reasoning in LLMs over Heterogeneous Knowledge [21.86609553205461]
大規模言語モデル(LLM)は、ユーザが提供する知識に基づく応答生成をますますサポートしている。 TKFQAは10,130の質問回答(QA)ペアをテーブル,テキスト,知識グラフ(KG)に接地した実数整合性ベンチマークである。それぞれの例は明示的な反事実的推論チェーンから構築され、回答の正しさ、推論チェーンの精度、異なる入力順序に対するロバスト性などの共同評価を可能にする。
論文参考訳（メタデータ） (2026-08-08T00:46:32Z)
KGCQual: An Interpretable Framework for Evaluating the Knowledge Graph Construction Quality from Text [6.373904244962351]
本稿では,本質的な知識グラフ品質評価のための新しい解釈可能な指標を提案する。自動的に抽出されたグラフがいかに「理想」グラフに近似するかを測定する。複数の最先端の3重抽出システムとデータセットで測定値を評価する。
論文参考訳（メタデータ） (2026-07-11T08:45:15Z)
SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs [0.0]
SKG-Evalは、対話を進化するセマンティック知識グラフとしてモデル化する準決定論的かつ解釈可能なフレームワークである。本研究では,SKG-Evalが人間の判断と高い相関を達成し,会話における長距離不整合の検出を大幅に改善することを示す。
論文参考訳（メタデータ） (2026-05-15T21:39:48Z)
AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering [97.52852990265136]
音声対応大規模言語モデルの推論機能を活用するバックボーン非依存評価フレームワークであるAQAScoreを紹介する。 AQAScoreは人格関連性、ペア比較、構成推論タスクを含む複数のベンチマークで評価する。
論文参考訳（メタデータ） (2026-01-21T07:35:36Z)
OpenUnlearning: Accelerating LLM Unlearning via Unified Benchmarking of Methods and Metrics [82.0813150432867]
我々は,大規模言語モデル(LLM)のアンラーニング手法とメトリクスをベンチマークするための標準フレームワークであるOpenUnlearningを紹介する。 OpenUnlearningは、13のアンラーニングアルゴリズムと16のさまざまな評価を3つの主要なベンチマークで統合する。また、多様なアンラーニング手法をベンチマークし、広範囲な評価スイートとの比較分析を行う。
論文参考訳（メタデータ） (2025-06-14T20:16:37Z)
A Controllable Examination for Long-Context Language Models [62.845852724511964]
本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
論文参考訳（メタデータ） (2025-06-03T14:23:06Z)
Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文参考訳（メタデータ） (2023-10-09T11:45:59Z)
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文参考訳（メタデータ） (2023-09-07T01:35:24Z)
A Fine-grained Interpretability Evaluation Benchmark for Neural NLP [44.08113828762984]
このベンチマークでは、感情分析、テキスト類似性、読解の3つのNLPタスクをカバーしている。十分にコンパクトで包括的に注釈付けされたトークンレベルの合理性を提供します。 3つのサリエンシ手法を用いた3つの典型的なモデルについて実験を行い、その強度と弱さを解釈可能性の観点から明らかにした。
論文参考訳（メタデータ） (2022-05-23T07:37:04Z)
GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。