論文の概要: SciText2Eq: Assessing LLMs for Explainable Equation Generation for Scientific Creativity

• arxiv url: http://arxiv.org/abs/2606.16003v1
• Date: Sun, 14 Jun 2026 20:14:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.986094
• Title: SciText2Eq: Assessing LLMs for Explainable Equation Generation for Scientific Creativity
• Title（参考訳）: SciText2Eq:科学創造のための説明可能な方程式生成のためのLCMの評価
• Abstract要約: 本研究では,大規模言語モデル(LLM)が科学的テキストから数学的方程式を生成する能力について検討する。 我々は、AI研究論文のデータセットを構築し、コンテキストパスを基底構造方程式とペアリングし、変数記述する。 我々は、説明可能な方程式生成ワークフローを開発し、それを様々なオープンソースおよびクローズドソースのLCMバックボーンで評価する。
• 参考スコア（独自算出の注目度）: 9.800289607894994
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This work investigates the ability of large language models (LLMs) to generate mathematical equations from scientific texts. Prior work faces challenges in unstructured grounding, multi-equation dependency, and humanaligned evaluation. To this end, we construct a dataset of AI research papers, pairing contextual passages with ground-truth equations and variable descriptions. We develop an explainable equation generation workflow and evaluate it across diverse open- and closed-source LLM backbones. We introduce an evaluation protocol combining automatic metrics, LLM-based rubrics, and human judgments to assess accuracy, explainability, and human-LLM alignment. Results indicate that LLMs perform moderately on lexical- and syntactic-based similarity, while struggling with semantic accuracy. Comparisons between LLM-based evaluations and human judgments reveal limited alignment, highlighting challenges in using LLMs to assess equation quality. These findings offer insights for improving equation generation models and developing more reliable evaluation methods for scientific text. We provide code and data for reproducibility.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)が科学的テキストから数学的方程式を生成する能力について検討する。 それまでの作業は、非構造化の接地、マルチ方程式の依存性、人間によるアライメント評価といった課題に直面していた。 この目的のために、我々はAI研究論文のデータセットを構築し、コンテキストパスを基底構造方程式とペアリングし、変数記述する。 我々は、説明可能な方程式生成ワークフローを開発し、それを様々なオープンソースおよびクローズドソースのLCMバックボーンで評価する。 本稿では, 自動計測, LLM ベースルーブリック, 人的判断を組み合わせて, 精度, 説明可能性, 人-LLM のアライメントを評価するための評価プロトコルを提案する。 その結果,LLMは意味的精度に苦慮しながら,語彙的・構文的類似度を適度に評価できることがわかった。 LLMによる評価と人的判断との比較により,LLMを用いて方程式の質を評価する上での課題が浮き彫りにされている。 これらの知見は、方程式生成モデルの改善と、科学的テキストに対するより信頼性の高い評価方法の開発に関する洞察を与える。 再現性のためのコードとデータを提供します。

関連論文リスト

• How Much Structure Do LLMs Need? Evaluating LLMs for Bibliometric Cluster Description [0.0]
  大型言語モデル(LLM)は科学文献の合成をサポートすることができるが、幻覚的参照、不均一なカバレッジ、弱く根底的な主題的組織に傾向が残る。 異なるレベルのエビデンスと構造の下でクラスタ記述を生成するための6つのパイプラインを比較することにより,書誌構造がLLM支援合成を改善するか否かを評価する。 以上の結果から, LLMは人文に近い意味的な記述を生成するが, 書誌構造をスクラッチから推測するには信頼性が低いことが示唆された。
  論文  参考訳（メタデータ） (2026-05-23T02:24:09Z)
• LM4Opt-RA: A Multi-Candidate LLM Framework with Structured Ranking for Automating Network Resource Allocation [0.7933039558471408]
  我々は,複雑な解析的および数学的推論タスクに,文脈的理解が不要であることに対処する。 既存のベンチマークデータセットは、動的な環境、変数、不均一な制約でそのような問題の複雑さに対処できない。 NL4RAは、LP、ILP、MILPとして定式化された50のリソース割り当て最適化問題からなるキュレートデータセットである。 次に,パラメータ数が異なるオープンソースのLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2025-11-13T23:19:43Z)
• Computational Turing Test Reveals Systematic Differences Between Human and AI Language [0.0]
  大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするために社会科学でますます使われている。 既存の検証努力は人的判断に基づく評価に大きく依存している。 本稿では,LLMが人間の言語にどの程度近いかを評価するために,計算チューリングテストを提案する。
  論文  参考訳（メタデータ） (2025-11-06T08:56:37Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Evaluating book summaries from internal knowledge in Large Language Models: a cross-model and semantic consistency approach [0.0]
  本研究では,大規模言語モデル(LLM)を用いて,包括的かつ正確な書籍要約を生成する能力について検討する。 これらのモデルが、確立された人間の解釈と一致した有意義な物語を合成できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-03-27T15:36:24Z)
• Potential and Perils of Large Language Models as Judges of Unstructured Textual Data [0.631976908971572]
  本研究では,LLM-as-judgeモデルの有効性を検討した。 LLM-as-judgeは、人間に匹敵するスケーラブルなソリューションを提供するが、人間は微妙で文脈固有のニュアンスを検出するのに優れている。
  論文  参考訳（メタデータ） (2025-01-14T14:49:14Z)
• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。