論文の概要: How Well Can LLMs Verbalize Mathematical Formulas? A Multi-Domain Evaluation

• arxiv url: http://arxiv.org/abs/2610.24917v1
• Date: Sat, 17 Oct 2026 23:35:41 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:13:17.256842
• Title: How Well Can LLMs Verbalize Mathematical Formulas? A Multi-Domain Evaluation
• Title（参考訳）: LLMはいかにして数学式を動詞化できるか? : マルチドメイン評価
• Abstract要約: 大規模言語モデル(LLM)は、自然言語タスクにまたがる強力な能力を示している。 このような言語化は、音声ベースの学習を支援するテキスト音声システムや視覚障害者にとって重要である。 我々は6つの科学領域にまたがる最先端のLLMを5つ評価した。
• 参考スコア（独自算出の注目度）: 0.042970700836450486
• License:
• Abstract: Large Language Models (LLMs) have shown strong capabilities across natural language tasks. But their ability to generate accurate written verbalizations of mathematical formulas has not been systematically evaluated. Such verbalization is important for text-to-speech systems supporting audio-based learning and visually impaired users. We evaluated five state-of-the-art LLMs across six scientific domains and constructed Read-Aloud Math, a balanced multi-domain corpus with LaTeX formulas, manually validated simple and extended transcriptions, multiple variants, textual context, domain labels, and formula complexity levels. Using multi-reference BLEU, GPT-5.2 achieved the highest score for simple transcriptions (75.9% without context, 64.9% with context), although without context it did not significantly outperform Grok 4.1 Fast or Claude Sonnet 4.5. Claude Sonnet 4.5 achieved the highest score for extended transcriptions without context (36.5%), and Grok 4.1 Fast with context (48.8%). For extended transcriptions, Statistics and Mathematics scored highest across the two context settings, while Physics scored lowest. Formula length was significantly negatively associated with BLEU for simple transcriptions without context, but not with context, whereas BLEU increased significantly with formula length for extended transcriptions in both settings. Grouping symbols were most frequently involved in transcription differences, while variable names, capitalization, and Greek letters were associated with lower BLEU scores. Overall, LLM-based formula verbalization is promising but remains sensitive to transcription type, textual context, and formula characteristics.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語タスクにまたがる強力な能力を示している。 しかし、それらの数学的公式の正確な文言化を生成する能力は、体系的に評価されていない。 このような言語化は、音声ベースの学習を支援するテキスト音声システムや視覚障害者にとって重要である。 筆者らは,6つの科学的領域にまたがる5つの最先端LCMを評価し,LaTeX式を用いたバランスの取れた多ドメインコーパスであるRead-Aloud Mathを構築し,手作業による簡易・拡張転写,複数変種,テキストコンテキスト,ドメインラベル,公式複雑性レベルを検証した。 マルチ参照BLEUを用いて、GPT-5.2は単純な書き起こしでは最高スコア(文脈なし75.9%、文脈なし64.9%)を達成したが、文脈がないとGrok 4.1 FastやClaude Sonnet 4.5をはるかに上回らなかった。 クロード・ソネット4.5は文脈なしの書き起こしで最高スコア(36.5%)、Grok 4.1 Fast with context(48.8%)を記録した。 拡張された書き起こしについては、統計学と数学が2つの文脈で最高、物理が最低であった。 書式長は文脈のない単純な書式ではBLEUと負の相関がみられたが, 書式長は両設定の書式長で有意に増加した。 グループ記号は転写の違いによく関与し、可変名、大文字化、ギリシャ文字は低いBLEUスコアに関連付けられていた。 全体としては、LLMに基づく公式言語化は有望であるが、転写タイプ、テキストコンテキスト、および公式特性に敏感である。

関連論文リスト

• Beyond BLEU: A Case for Redefining Sign Language Translation Benchmarks [25.06072679394636]
  本稿では,オープンウェイトLLMQAプロトコルを用いて,言語学習の評価から着想を得た代替手法を提案する。 ヒトのランクとより密に一致し、BLEU-4の6倍から7倍のパラフレーズ不変量を持つ。
  論文  参考訳（メタデータ） (2026-09-03T12:05:29Z)
• How to Recognize New Words: A Comparison Between Context Biasing Methods and Speech LLMs [61.601626186678146]
  音声大言語モデル(LLM)に対するWhisperに基づく2つの文脈バイアス法の評価を行った。 文脈バイアス法は、WERのバイアスを最大88%削減し、他の単語はほとんど影響を受けなかった。 音声LLMは読み上げ音声に優れるが、非読み出し音声にはあまり適さないため、散発的数に敏感であり、語順を誘導する。
  論文  参考訳（メタデータ） (2026-08-06T08:45:33Z)
• Job Skill Extraction via LLM-Centric Multi-Module Framework [51.37063712967151]
  本稿では,意味検索,文脈内学習,教師付き微調整を組み合わせたLLM中心のフレームワークであるSRICLを提案する。 SRICLは、6つの公的なスパンラベル付きジョブアド文のコーパスにおいて、GPT-3.5よりも相当なSTRICT-F1の改善を達成し、ベースラインを加速し、無効なタグと幻覚したスパンを激減する。
  論文  参考訳（メタデータ） (2026-04-23T10:46:07Z)
• Current LLMs still cannot 'talk much' about grammar modules: Evidence from syntax [0.0]
  我々は、本や雑誌記事など、以前の生成構文から44の用語を収集し、この分野の経験から収集した。 両翻訳を解析・比較し,分析に分析的および比較的アプローチを用いた。 大規模な言語モデルは、研究中の用語に埋め込まれた中核的な構文特性について「多くを語る」ことはできない。
  論文  参考訳（メタデータ） (2026-03-20T16:37:51Z)
• Speech-to-LaTeX: New Models and Datasets for Converting Spoken Equations and Sentences [2.7405470973070547]
  音声の数学的表現の変換は、厳密に構造化された記号表現への音声の書き起こしを伴う難しい作業である。 66,000人以上の人手による数学的方程式と文のオーディオサンプルからなる、最初の完全にオープンソースな大規模データセットを提示する。
  論文  参考訳（メタデータ） (2025-08-05T15:11:37Z)
• An HTR-LLM Workflow for High-Accuracy Transcription and Analysis of Abbreviated Latin Court Hand [0.0]
  本稿では,中世の法律文書の高精度な書き起こしと解析のための,理想的な4段階のワークフローを提示し,検証する。 その結果、このハイブリッド多段階のアプローチは、高品質で分析可能な出力を生成しながら、転写の最も面倒な側面を効果的に自動化することを示した。
  論文  参考訳（メタデータ） (2025-07-05T19:07:15Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• Exploring the Role of Transliteration in In-Context Learning for Low-resource Languages Written in Non-Latin Scripts [50.40191599304911]
  非ラテン文字で書かれた低リソース言語に対するLLMの性能向上にも効果があるか検討する。 本稿では,(1) の原文,(2) ラテン文字,(3) の両文を対象とする3つのプロンプトテンプレートを提案する。 本研究の結果から,翻訳の有効性はタスクタイプやモデルサイズによって異なることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-02T14:51:20Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。