論文の概要: TeXpert: A Multi-Level Benchmark for Evaluating LaTeX Code Generation by LLMs

• arxiv url: http://arxiv.org/abs/2506.16990v1
• Date: Fri, 20 Jun 2025 13:39:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.465168
• Title: TeXpert: A Multi-Level Benchmark for Evaluating LaTeX Code Generation by LLMs
• Title（参考訳）: TeXpert: LLMによるLaTeXコード生成評価のためのマルチレベルベンチマーク
• Authors: Sahil Kale, Vijaykant Nadadur,
• Abstract要約: LLM(Large Language Models)は、研究者が出版可能な資料を作成できる有望な機会を提供する。 我々のベンチマークデータセットは、科学文書の構成要素に焦点を当てたコードを生成するための自然言語のプロンプトである。 オープンおよびクローズドソース LLM に対する評価では,複数の重要な知見が浮き彫りにされている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LaTeX's precision and flexibility in typesetting have made it the gold standard for the preparation of scientific documentation. Large Language Models (LLMs) present a promising opportunity for researchers to produce publication-ready material using LaTeX with natural language instructions, yet current benchmarks completely lack evaluation of this ability. By introducing TeXpert, our benchmark dataset with natural language prompts for generating LaTeX code focused on components of scientific documents across multiple difficulty levels, we conduct an in-depth analysis of LLM performance in this regard and identify frequent error types. Our evaluation across open and closed-source LLMs highlights multiple key findings: LLMs excelling on standard benchmarks perform poorly in LaTeX generation with a significant accuracy drop-off as the complexity of tasks increases; open-source models like DeepSeek v3 and DeepSeek Coder strongly rival closed-source counterparts in LaTeX tasks; and formatting and package errors are unexpectedly prevalent, suggesting a lack of diverse LaTeX examples in the training datasets of most LLMs. Our dataset, code, and model evaluations are available at https://github.com/knowledge-verse-ai/TeXpert.
• Abstract（参考訳）: タイプセットにおけるLaTeXの精度と柔軟性は、科学文書を作成するための金の標準となった。 大規模言語モデル (LLMs) は、研究者がLaTeXを使って自然言語命令で出版可能な素材を作成できる有望な機会を提供するが、現在のベンチマークでは、この能力を完全に評価していない。 複数の難易度にまたがる科学文書のコンポーネントに焦点を当てたLaTeXコードを生成するための自然言語プロンプト付きベンチマークデータセットTeXpertを導入することで、この点においてLLM性能の詳細な分析を行い、頻繁なエラータイプを特定する。 標準ベンチマークに優れたLLMは、タスクの複雑さが増大するにつれて、相当な精度のドロップオフでLaTeX生成の性能が低下する。DeepSeek v3やDeepSeek Coderのようなオープンソースのモデルは、LaTeXタスクのクローズソースモデルと強く競合する。 データセット、コード、モデル評価はhttps://github.com/knowledge-verse-ai/TeXpert.comで公開しています。

関連論文リスト

• NeuRaLaTeX: A machine learning library written in pure LaTeX [15.978130916451295]
  我々は,完全に韻律で書かれた最初のディープラーニングライブラリであるNeuRaLaを紹介する。 ドキュメントの一部として、ニューラルネットワークのアーキテクチャとその損失関数を指定することができる。 ドキュメントがコンパイルされると、コンパイラはトレーニングデータを生成し、ロードし、ネットワークをトレーニングし、実験を行い、図を生成する。 論文はコンパイルに48時間かかり、NeuRaLaのソースコード全体が論文のソースコードに含まれている。
  論文  参考訳（メタデータ） (2025-03-31T15:05:19Z)
• TeXBLEU: Automatic Metric for Evaluate LaTeX Format [4.337656290539519]
  我々は,n-gram-based BLEU で構築した形式を用いて,数式評価のための指標 BLEU を提案する。 提案したBLEUは、arXiv紙のデータセットに基づいて訓練されたトークン化器と、位置エンコーディングによる微調整された埋め込みモデルから構成される。
  論文  参考訳（メタデータ） (2024-09-10T16:54:32Z)
• Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks [76.43527940649939]
  大規模言語モデル(LLM)の長文理解を評価するベンチマークであるAda-LEvalを紹介する。 Ada-LEvalにはTSortとBestAnswerという2つの挑戦的なサブセットが含まれている。 Ada-LEvalを用いた4つの最先端クローズドソースAPIモデルと6つのオープンソースモデルを評価した。
  論文  参考訳（メタデータ） (2024-04-09T17:30:48Z)
• mPLUG-PaperOwl: Scientific Diagram Analysis with the Multimodal Large Language Model [73.38800189095173]
  本研究はマルチモーダルLLMのマルチモーダルダイアグラム解析機能を強化することに焦点を当てる。 高品質な論文のLatexソースファイルを解析することにより、マルチモーダルなダイアグラム理解データセットM-Paperを慎重に構築する。 M-Paperは、画像やラテックス符号のフォーマットの数字や表を含む、複数の科学的図の合同理解をサポートする最初のデータセットである。
  論文  参考訳（メタデータ） (2023-11-30T04:43:26Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• Reproducible Science with LaTeX [4.09920839425892]
  本稿では,文書から外部ソースコードを実行する手順を提案する。 結果のPortable Document Format (pdf)ファイルに自動的に計算出力が含まれている。
  論文  参考訳（メタデータ） (2020-10-04T04:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。