Fugu-MT 論文翻訳(概要): TeXBLEU: Automatic Metric for Evaluate LaTeX Format

論文の概要: TeXBLEU: Automatic Metric for Evaluate LaTeX Format

arxiv url: http://arxiv.org/abs/2409.06639v1
Date: Tue, 10 Sep 2024 16:54:32 GMT
ステータス: 処理完了
システム内更新日: 2024-09-11 16:49:06.763280
Title: TeXBLEU: Automatic Metric for Evaluate LaTeX Format
Title（参考訳）: TeXBLEU:LaTeXフォーマット評価のための自動メトリック
Authors: Kyudan Jung, Nam-Joon Kim, Hyongon Ryu, Sieun Hyeon, Seung-jun Lee, Hyeok-jae Lee,
Abstract要約: 書式における数学的表現に適した評価指標BLEUを提案する。 BLEUは、翻訳タスクに広く使われているn-gramベースのBLEUメートル法に基づいている。
参考スコア（独自算出の注目度）: 4.337656290539519
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LaTeX is highly suited to creating documents with special formatting, particularly in the fields of science, technology, mathematics, and computer science. Despite the increasing use of mathematical expressions in LaTeX format with language models, there are no evaluation metrics for evaluating them. In this study, we propose TeXBLEU, an evaluation metric tailored for mathematical expressions in LaTeX format, based on the n-gram-based BLEU metric that is widely used for translation tasks. The proposed TeXBLEU includes a predefined tokenizer trained on the arXiv paper dataset and a finetuned embedding model. It also considers the positional embedding of tokens. Simultaneously, TeXBLEU compares tokens based on n-grams and computes the score using exponentiation of a logarithmic sum, similar to the original BLEU. Experimental results show that TeXBLEU outperformed traditional evaluation metrics such as BLEU, Rouge, CER, and WER when compared to human evaluation data on the test dataset of the MathBridge dataset, which contains 1,000 data points. The average correlation coefficient with human evaluation was 0.71, which is an improvement of 87% compared with BLEU, which had the highest correlation with human evaluation data among the existing metrics. The code is available at https://github.com/KyuDan1/TeXBLEU.
Abstract（参考訳）: LaTeXは、特に科学、技術、数学、計算機科学の分野において、特別なフォーマットで文書を作成するのに非常に適している。言語モデルを用いたLaTeX形式における数式の利用は増加しているが,評価基準は存在しない。本研究では,翻訳タスクに広く用いられているn-gram-based BLEU測定値に基づいて,LaTeX形式の数学的表現に適した評価指標TeXBLEUを提案する。提案したTeXBLEUは、arXiv紙データセットでトレーニングされた事前定義されたトークン化器と、微調整された埋め込みモデルを含む。また、トークンの位置埋め込みについても検討している。同時に、TeXBLEUはn-gramに基づいてトークンを比較し、対数和の指数を使ってスコアを計算する。実験結果から,TeXBLEUは,1000個のデータポイントを含むMathBridgeデータセットのテストデータセットにおける人的評価データと比較して,BLEU, Rouge, CER, WERなどの従来の評価指標よりも優れていた。人的評価値の平均相関係数は0.71で,既存の指標の中で人的評価値との相関が高かったBLEUと比較して87%向上した。コードはhttps://github.com/KyuDan1/TeXBLEUで公開されている。

関連論文リスト

LATTE: Improving Latex Recognition for Tables and Formulae with Iterative Refinement [11.931911831112357]
LATTEは、式と表の両方のソース抽出精度を改善し、既存の技術とGPT-4Vより優れている。本稿では,認識のための最初の反復的改良フレームワークであるLATTEを提案する。
論文参考訳（メタデータ） (2024-09-21T17:18:49Z)
InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning [58.7966588457529]
InfiMM-WebMath-40Bは、インターリーブされた画像テキスト文書の高品質なデータセットである。ウェブページは2400万、画像URLは8500万、テキストトークンは400億だ。テキストのみのベンチマークでは,400億トークンしか利用していないにもかかわらず,データセットは1.3Bモデルの性能を大幅に向上させることが示された。私たちのモデルは、MathVerseやWe-Mathといったマルチモーダルな数学ベンチマーク上で、オープンソースモデルの中で新しい最先端のモデルを設定しました。
論文参考訳（メタデータ） (2024-09-19T08:41:21Z)
MathBridge: A Large Corpus Dataset for Translating Spoken Mathematical Expressions into $LaTeX$ Formulas for Improved Readability [10.757551947236879]
数学的な文を公式に翻訳する最初の広範囲なデータセットであるMathBridgeを紹介する。 MathBridgeは、数学的な音声文から公式に変換するための事前訓練された言語モデルの能力を大幅に向上させる。
論文参考訳（メタデータ） (2024-08-07T18:07:15Z)
MathNet: A Data-Centric Approach for Printed Mathematical Expression Recognition [2.325171167252542]
ベンチマークデータセットim2latex-100kの改良版を提示し,30フォントを特徴とする。第2に,論文からMEを抽出した実世界のデータセット realFormula を紹介する。第3に、畳み込み視覚変換器をベースとしたMERモデルMathNetを開発し、4つのテストセットすべてにおいて優れた結果を得た。
論文参考訳（メタデータ） (2024-04-21T14:03:34Z)
MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning [52.97768001837269]
本稿では,オープンソース言語モデルを微調整する手法を提案する。本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
論文参考訳（メタデータ） (2023-10-05T17:52:09Z)
On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
論文参考訳（メタデータ） (2022-12-20T06:24:25Z)
Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning [150.17907456113537]
数学的な推論を必要とする38,431のグレードレベルの問題を含む新しいデータセットであるTabular Math Word Problems (TabMWP)を提案する。我々は,GPT-3モデルを含む,TabMWP上での事前学習モデルの評価を行った。本稿では、ポリシー勾配を利用して、少量のトレーニングデータからコンテキスト内サンプルを選択する新しいアプローチ、PromptPGを提案する。
論文参考訳（メタデータ） (2022-09-29T08:01:04Z)
Syntax-Aware Network for Handwritten Mathematical Expression Recognition [53.130826547287626]
手書き数式認識(HMER)は、多くの潜在的な応用が可能な課題である。 HMERの最近の手法はエンコーダ・デコーダアーキテクチャで優れた性能を実現している。本稿では,構文情報をエンコーダ・デコーダネットワークに組み込んだHMERの簡易かつ効率的な手法を提案する。
論文参考訳（メタデータ） (2022-03-03T09:57:19Z)
BARTScore: Evaluating Generated Text as Text Generation [89.50052670307434]
我々は、事前学習されたシーケンス・ツー・シーケンスモデルを用いてモデル化されたテキスト生成問題として、生成されたテキストの評価を概念化する。我々は、エンコーダ-デコーダベースの事前学習モデルであるBARTを用いて、このアイデアを運用する。本稿では,様々な視点からテキストの評価に柔軟に適用可能な,数多くの変種を持つメトリクスBARTScoreを提案する。
論文参考訳（メタデータ） (2021-06-22T03:20:53Z)
Machine Translation of Mathematical Text [0.0]
数学的テキストを含む文書を対象とした機械翻訳システムPolyMath Translatorを実装した。現在の実装は英語をフランス語に翻訳し、数学文の保留テストコーパスでBLEUスコアが53.5に達した。さらに編集することなくPDFにコンパイルできる文書を生成する。
論文参考訳（メタデータ） (2020-10-11T11:59:40Z)
Reproducible Science with LaTeX [4.09920839425892]
本稿では,文書から外部ソースコードを実行する手順を提案する。結果のPortable Document Format (pdf)ファイルに自動的に計算出力が含まれている。
論文参考訳（メタデータ） (2020-10-04T04:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。