論文の概要: An Empirical Study of Recent Large Language Models for Knowledge Graph to Text Generation on Standard Benchmarks

• arxiv url: http://arxiv.org/abs/2610.31529v1
• Date: Thu, 22 Oct 2026 16:36:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.481827
• Title: An Empirical Study of Recent Large Language Models for Knowledge Graph to Text Generation on Standard Benchmarks
• Title（参考訳）: 標準ベンチマークに基づく知識グラフからテキスト生成のための最近の大規模言語モデルに関する実証的研究
• Abstract要約: 知識グラフ・トゥ・テキスト(KG-to-text)生成は、知識グラフの集合を3重化して流用する自然言語に言語化する。 微調整エンコーダ-デコーダモデルが長年にわたって標準的なアプローチであったが、近年のLLMはますます競争力を高めつつある。 我々は、参照ベースのメトリクスと人間のアノテーションに対するグラフグラウンド評価を用いて、微調整エンコーダデコーダモデルに対して最近のLCMをベンチマークする。
• 参考スコア（独自算出の注目度）: 3.3138767475990565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graph-to-text (KG-to-text) generation verbalizes a set of knowledge graph triples into fluent natural language. While fine-tuned encoder-decoder models have long been the standard approach, recent LLMs are becoming increasingly competitive. We benchmark recent LLMs against fine-tuned encoder-decoder models, using reference-based metrics and graph-grounded reference-free LLM-based evaluation validated against human annotations. We observed that recent LLMs substantially narrow, and in several settings close, the gap with fine-tuned models on reference-based metrics, while performing better on graph-grounded metrics. LLM-based evaluation scores show limited correlation with reference-based metrics, suggesting that the two approaches capture different aspects of generation quality. Graph-grounded evaluation reveals that prompted models produce fewer contradictions and triple omissions than fine-tuned models, and these errors increase more rapidly with graph size for fine-tuned models, highlighting differences between the two approaches that reference-based metrics may not fully capture.
• Abstract（参考訳）: 知識グラフ・トゥ・テキスト(KG-to-text)生成は、知識グラフの集合を3重化して流用する自然言語に言語化する。 微調整エンコーダ-デコーダモデルが長年にわたって標準的なアプローチであったが、近年のLLMはますます競争力を高めつつある。 我々は,人間のアノテーションに対して評価された参照ベースメトリクスとグラフグラウンドフリーなLCMに基づく評価を用いて,微調整エンコーダデコーダモデルに対して最近のLCMをベンチマークした。 我々は,近年のLLMが著しく狭く,いくつかの設定が近い中で,参照ベースメトリクス上での微調整モデルとのギャップが,グラフグラウンドメトリクスでは改善されていることを観察した。 LLMに基づく評価スコアは基準ベースの指標との相関が限定的であり, 2つの手法が生成品質の異なる側面を捉えていることが示唆された。 グラフグラウンド評価は、モデルが微調整されたモデルよりも矛盾や三重欠落を少なくし、これらのエラーは微調整されたモデルのグラフサイズとともに急速に増加し、参照ベースのメトリクスが完全に捉えられない2つのアプローチの違いを浮き彫りにする。

関連論文リスト

• Self-Exploring Language Models for Explainable Link Forecasting on Temporal Graphs via Reinforcement Learning [24.718280040158245]
  時間グラフ(ReaL-TG)のための推論強化学習法を提案する。 ReaL-TGはグラフモデルを微調整して説明可能なリンク予測を行う強化学習フレームワークである。 LLM-as-a-Judgeシステムとランキングメトリクスを組み合わせた新しい評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-08-31T19:47:01Z)
• Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models [60.00178316095646]
  多くのNLPタスクには文の埋め込みが不可欠であり、NLIのようなデータセットを使用して強いパフォーマンスを達成する対照的な学習方法がある。 近年の研究では、大きな言語モデル(LLM)を利用して文ペアを生成し、アノテーション依存を減らしている。 本稿では,潜在空間におけるLLMの生成方向を制御する手法を提案する。 複数のベンチマークによる実験により,本手法は文合成に要するコストを最小限に抑えつつ,新たなSOTA性能を実現することを示した。
  論文  参考訳（メタデータ） (2025-02-19T12:07:53Z)
• Forget What You Know about LLMs Evaluations -- LLMs are Like a Chameleon [12.13060272830352]
  大規模言語モデル(LLM)は、しばしば公開ベンチマークで優れているように見える。 これらの高いスコアは、真の言語理解よりもデータセット固有のサーフェスキューへの過度な依存を隠蔽する可能性がある。 本稿では,ベンチマークプロンプトを歪ませるメタ評価フレームワークであるChameleon Benchmark Overfit Detector (C-BOD)を紹介する。
  論文  参考訳（メタデータ） (2025-02-11T10:43:36Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Evaluation of HTR models without Ground Truth Material [2.4792948967354236]
  手書き文字認識モデルの開発における評価は容易である。 しかし、開発からアプリケーションに切り替えると、評価プロセスはトリッキーになります。 我々は,レキシコンに基づく評価が,レキシコンに基づく手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T01:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。