論文の概要: TeXBLEU: Automatic Metric for Evaluate LaTeX Format

• arxiv url: http://arxiv.org/abs/2409.06639v3
• Date: Fri, 13 Sep 2024 04:22:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 11:48:15.926216
• Title: TeXBLEU: Automatic Metric for Evaluate LaTeX Format
• Title（参考訳）: TeXBLEU:LaTeXフォーマット評価のための自動メトリック
• Authors: Kyudan Jung, Nam-Joon Kim, Hyongon Ryu, Sieun Hyeon, Seung-jun Lee, Hyeok-jae Lee,
• Abstract要約: 我々は,n-gram-based BLEU で構築した形式を用いて,数式評価のための指標 BLEU を提案する。 提案したBLEUは、arXiv紙のデータセットに基づいて訓練されたトークン化器と、位置エンコーディングによる微調整された埋め込みモデルから構成される。
• 参考スコア（独自算出の注目度）: 4.337656290539519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LaTeX is suitable for creating specially formatted documents in science, technology, mathematics, and computer science. Although the use of mathematical expressions in LaTeX format along with language models is increasing, there are no proper evaluation matrices to evaluate them. In this study, we propose TeXBLEU, a metric for evaluating mathematical expressions in the LaTeX format built on the n-gram-based BLEU metric widely used in translation tasks. The proposed TeXBLEU consists of a predefined tokenizer trained on the arXiv paper dataset and a fine-tuned embedding model with positional encoding. The TeXBLEU score was calculated by replacing BLUE's modified precision score with the similarity of n-gram-based tokens. TeXBLEU showed improvements of 86\%, 121\%, and 610\% over traditional evaluation metrics, such as BLEU, sacreBLEU, and Rouge, respectively, on the MathBridge dataset with 1,000 data points. The code is available at https://github.com/KyuDan1/TeXBLEU.
• Abstract（参考訳）: LaTeXは、科学、技術、数学、計算機科学で特別なフォーマットの文書を作成するのに適している。 言語モデルとともにLaTeX形式での数学的表現の利用が増加しているが、評価する適切な評価行列は存在しない。 本研究では,n-gram-based BLEU で構築された LaTeX 形式の数学的表現を評価するための計量である TeXBLEU を提案する。 提案したTeXBLEUは、arXiv紙データセットでトレーニングされた事前定義されたトークン化器と、位置エンコーディングによる微調整された埋め込みモデルから構成される。 TeXBLEUスコアは、BLUEの修正精度スコアをn-gramベースのトークンの類似性に置き換えることで計算された。 TeXBLEUは、1,000のデータポイントを持つMathBridgeデータセット上で、それぞれBLEU、S sacreBLEU、Rurgeといった従来の評価指標よりも86\%、121\%、610\%の改善を示した。 コードはhttps://github.com/KyuDan1/TeXBLEUで公開されている。

関連論文リスト

• LATTE: Improving Latex Recognition for Tables and Formulae with Iterative Refinement [11.931911831112357]
  LATTEは、式と表の両方のソース抽出精度を改善し、既存の技術とGPT-4Vより優れている。 本稿では,認識のための最初の反復的改良フレームワークであるLATTEを提案する。
  論文  参考訳（メタデータ） (2024-09-21T17:18:49Z)
• InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning [58.7966588457529]
  InfiMM-WebMath-40Bは、インターリーブされた画像テキスト文書の高品質なデータセットである。 ウェブページは2400万、画像URLは8500万、テキストトークンは400億だ。 テキストのみのベンチマークでは,400億トークンしか利用していないにもかかわらず,データセットは1.3Bモデルの性能を大幅に向上させることが示された。 私たちのモデルは、MathVerseやWe-Mathといったマルチモーダルな数学ベンチマーク上で、オープンソースモデルの中で新しい最先端のモデルを設定しました。
  論文  参考訳（メタデータ） (2024-09-19T08:41:21Z)
• MathBridge: A Large Corpus Dataset for Translating Spoken Mathematical Expressions into $LaTeX$ Formulas for Improved Readability [10.757551947236879]
  数学的な文を公式に翻訳する最初の広範囲なデータセットであるMathBridgeを紹介する。 MathBridgeは、数学的な音声文から公式に変換するための事前訓練された言語モデルの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-08-07T18:07:15Z)
• MathNet: A Data-Centric Approach for Printed Mathematical Expression Recognition [2.325171167252542]
  ベンチマークデータセットim2latex-100kの改良版を提示し,30フォントを特徴とする。 第2に,論文からMEを抽出した実世界のデータセット realFormula を紹介する。 第3に、畳み込み視覚変換器をベースとしたMERモデルMathNetを開発し、4つのテストセットすべてにおいて優れた結果を得た。
  論文  参考訳（メタデータ） (2024-04-21T14:03:34Z)
• MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning [52.97768001837269]
  本稿では,オープンソース言語モデルを微調整する手法を提案する。 本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。 このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
  論文  参考訳（メタデータ） (2023-10-05T17:52:09Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning [150.17907456113537]
  数学的な推論を必要とする38,431のグレードレベルの問題を含む新しいデータセットであるTabular Math Word Problems (TabMWP)を提案する。 我々は,GPT-3モデルを含む,TabMWP上での事前学習モデルの評価を行った。 本稿では、ポリシー勾配を利用して、少量のトレーニングデータからコンテキスト内サンプルを選択する新しいアプローチ、PromptPGを提案する。
  論文  参考訳（メタデータ） (2022-09-29T08:01:04Z)
• Syntax-Aware Network for Handwritten Mathematical Expression Recognition [53.130826547287626]
  手書き数式認識(HMER)は、多くの潜在的な応用が可能な課題である。 HMERの最近の手法はエンコーダ・デコーダアーキテクチャで優れた性能を実現している。 本稿では,構文情報をエンコーダ・デコーダネットワークに組み込んだHMERの簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-03T09:57:19Z)
• BARTScore: Evaluating Generated Text as Text Generation [89.50052670307434]
  我々は、事前学習されたシーケンス・ツー・シーケンスモデルを用いてモデル化されたテキスト生成問題として、生成されたテキストの評価を概念化する。 我々は、エンコーダ-デコーダベースの事前学習モデルであるBARTを用いて、このアイデアを運用する。 本稿では,様々な視点からテキストの評価に柔軟に適用可能な,数多くの変種を持つメトリクスBARTScoreを提案する。
  論文  参考訳（メタデータ） (2021-06-22T03:20:53Z)
• Machine Translation of Mathematical Text [0.0]
  数学的テキストを含む文書を対象とした機械翻訳システムPolyMath Translatorを実装した。 現在の実装は英語をフランス語に翻訳し、数学文の保留テストコーパスでBLEUスコアが53.5に達した。 さらに編集することなくPDFにコンパイルできる文書を生成する。
  論文  参考訳（メタデータ） (2020-10-11T11:59:40Z)
• Reproducible Science with LaTeX [4.09920839425892]
  本稿では,文書から外部ソースコードを実行する手順を提案する。 結果のPortable Document Format (pdf)ファイルに自動的に計算出力が含まれている。
  論文  参考訳（メタデータ） (2020-10-04T04:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。