論文の概要: DiagramEval: Evaluating LLM-Generated Diagrams via Graphs

• arxiv url: http://arxiv.org/abs/2510.25761v2
• Date: Fri, 31 Oct 2025 03:15:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 13:41:53.437067
• Title: DiagramEval: Evaluating LLM-Generated Diagrams via Graphs
• Title（参考訳）: DiagramEval: グラフによるLCM生成ダイアグラムの評価
• Authors: Chumeng Liang, Jiaxuan You,
• Abstract要約: 有望な方向性は、SVGとしてテキスト形式で直接デモダイアグラムを生成することである、と我々は主張する。 大規模言語モデルにより生成された実演図の質を評価するために設計された新しい評価指標であるDiagramEvalを提案する。
• 参考スコア（独自算出の注目度）: 25.040934047462112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diagrams play a central role in research papers for conveying ideas, yet they are often notoriously complex and labor-intensive to create. Although diagrams are presented as images, standard image generative models struggle to produce clear diagrams with well-defined structure. We argue that a promising direction is to generate demonstration diagrams directly in textual form as SVGs, which can leverage recent advances in large language models (LLMs). However, due to the complexity of components and the multimodal nature of diagrams, sufficiently discriminative and explainable metrics for evaluating the quality of LLM-generated diagrams remain lacking. In this paper, we propose DiagramEval, a novel evaluation metric designed to assess demonstration diagrams generated by LLMs. Specifically, DiagramEval conceptualizes diagrams as graphs, treating text elements as nodes and their connections as directed edges, and evaluates diagram quality using two new groups of metrics: node alignment and path alignment. For the first time, we effectively evaluate diagrams produced by state-of-the-art LLMs on recent research literature, quantitatively demonstrating the validity of our metrics. Furthermore, we show how the enhanced explainability of our proposed metrics offers valuable insights into the characteristics of LLM-generated diagrams. Code: https://github.com/ulab-uiuc/diagram-eval.
• Abstract（参考訳）: ダイアグラムは、アイデアを伝えるための研究論文において中心的な役割を果たすが、しばしば複雑で、創造に労働集約的である。 図は画像として表現されるが、標準的な画像生成モデルは、明確に定義された構造を持つ明確な図を作成するのに苦労する。 有望な方向性は、大規模言語モデル(LLM)の最近の進歩を活用できるSVGとして、テキスト形式で直接デモダイアグラムを生成することであると論じる。 しかし、成分の複雑さとダイアグラムのマルチモーダル性のため、LCM生成ダイアグラムの品質を評価するための十分な識別的かつ説明可能な指標が不足している。 本稿では,LLMが生成した実演図を評価するための新しい評価指標であるDiagramEvalを提案する。 具体的には、ダイアグラムEvalはグラフとしてダイアグラムを概念化し、テキスト要素をノードとして扱い、それらの接続を有向エッジとして扱い、ノードアライメントとパスアライメントの2つの新しいグループを使用してダイアグラムの品質を評価する。 本研究では,最近の研究文献において,最先端のLCMによって生成された図を効果的に評価し,測定値の有効性を定量的に検証した。 さらに,提案手法の強化により,LCM生成図の特徴に関する貴重な知見が得られることを示す。 コード:https://github.com/ulab-uiuc/diagram-eval。

関連論文リスト

• ChartLens: Fine-grained Visual Attribution in Charts [106.44872805609673]
  Post-Hoc Visual Attribution for Chartsは、所定のチャート関連応答を検証する詳細なチャート要素を特定する。 グラフオブジェクトの識別にセグメンテーションに基づく手法を用いた新しいチャート属性アルゴリズムであるChartLensを提案する。 評価の結果,ChartLensの微粒化属性は26-66%向上した。
  論文  参考訳（メタデータ） (2025-05-25T23:17:32Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• Graph-Based Multimodal Contrastive Learning for Chart Question Answering [11.828192162922436]
  この研究は、チャートコンポーネントとその基盤構造間の関係を明示的にモデル化する、新しいマルチモーダルシーングラフフレームワークを導入している。 このフレームワークは、視覚グラフとテキストグラフの両方を統合し、構造的特徴と意味的特徴をキャプチャする。 グラフの対照的な学習戦略は、トランスフォーマーデコーダをソフトプロンプトとしてシームレスに組み込むことができるように、モジュール間のノード表現を整列させる。
  論文  参考訳（メタデータ） (2025-01-08T06:27:07Z)
• SciDoc2Diagrammer-MAF: Towards Generation of Scientific Diagrams from Documents guided by Multi-Aspect Feedback Refinement [22.07623299712134]
  本稿では,学術論文から関連情報を抽出し,図を生成するSciDoc2Diagramを提案する。 中間コード生成を用いたユーザ意図に基づく図を生成するパイプラインSciDoc2Diagrammerを開発した。
  論文  参考訳（メタデータ） (2024-09-28T05:10:39Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning [62.51232333352754]
  テキスト・ツー・イメージ(T2I)世代はここ数年で著しい成長を遂げている。 それにもかかわらず、T2Iモデルでダイアグラムを生成する作業はほとんど行われていない。 本稿では,新しい2段階のテキスト・ツー・ダイアグラム生成フレームワークであるDiagrammerGPTを紹介する。 我々のフレームワークは、既存のT2Iモデルを上回る精度で、より正確なダイアグラムを生成する。
  論文  参考訳（メタデータ） (2023-10-18T17:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。