論文の概要: Exploring Equation as a Better Intermediate Meaning Representation for Numerical Reasoning

• arxiv url: http://arxiv.org/abs/2308.10585v1
• Date: Mon, 21 Aug 2023 09:35:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 14:08:12.307500
• Title: Exploring Equation as a Better Intermediate Meaning Representation for Numerical Reasoning
• Title（参考訳）: 数値推論のためのより良い中間意味表現としての方程式の探索
• Authors: Dingzirui Wang, Longxu Dou, Wenbin Zhang, Junyu Zeng, Wanxiang Che
• Abstract要約: 我々は数値推論の問題を解くために方程式をIMRとして利用する。 本稿では、方程式(ブリッジ)の生成を分解したブースティング数値推論法を提案する。 本手法では,GSM8K,SVAMP,Algebraデータセットの2.2%,0.9%,1.7%の性能向上を実現している。
• 参考スコア（独自算出の注目度）: 53.2491163874712
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Numerical reasoning is vital for natural language processing models to understand and process numerical information in real-world scenarios. Most current methods first generate the Intermediate Meaning Representations (IMRs) of questions and then generate answers. Current SOTA methods generate programs as IMRs with large language models (LLMs). Intuitively, equations have fewer restrictions and closer semantics to the question than programs, leading to higher generation accuracy. However, current LLMs generate equations worse than programs, where we assume that the equation data is rare in pre-training data compared to programs. So in this paper, we try to use equations as IMRs to solve the numerical reasoning task by addressing two problems: (1) Theoretically, how to prove that the equation is an IMR with higher generation accuracy than programs; (2) Empirically, how to improve the generation accuracy of equations with LLMs. For the first problem, we propose and prove a proposition to theoretically compare the generation accuracy of different IMRs. For the second problem, we present a method called Boosting Numerical Reason\textbfing by Decomposing the Generation of Equations (Bridge), which can improve the accuracy of LLMs in generating equations as IMRs by reducing the tendency of generating constant expressions and programs. Our method improves the performance by 2.2%, 0.9%, and 1.7% on GSM8K, SVAMP, and Algebra datasets compared to the previous state-of-the-art methods under the single reasoning path setting. Our codes and prompts are released in https://github.com/zirui-HIT/Bridge_for_Numerical_Reasoning.
• Abstract（参考訳）: 自然言語処理モデルでは,実世界のシナリオにおける数値情報の理解と処理が不可欠である。 現在のほとんどの手法はまず質問の中間的意味表現(IMR)を生成し、答えを生成する。 現在のSOTAメソッドは、大きな言語モデル(LLM)を持つIMRとしてプログラムを生成する。 直感的には、方程式はプログラムよりも制限が少なく、より密接な意味論を持ち、より高い生成精度をもたらす。 しかし、現在のLLMはプログラムよりも方程式を生成するため、プログラムと比較して事前学習データでは方程式データが希少であると仮定する。 そこで本稿では, 数値推論の問題を解くために, 1) 理論的には, 方程式がプログラムよりも高い生成精度のIMRであることを証明する方法, (2) LLM を用いて方程式の生成精度を改善する方法, という2つの問題に対処して, 方程式を IMR として利用しようと試みる。 最初の問題として、我々は異なるIMRの生成精度を理論的に比較する提案を提案し、証明する。 第2の課題として,方程式生成におけるllmの精度をimrとして向上させ,定式式やプログラム生成の傾向を減少させることで,数値推論を高速化する手法(ブリッジ)を提案する。 提案手法は,GSM8K,SVAMP,およびAlgebraのデータセットに対して,従来の1つの推論パス設定法と比較して2.2%,0.9%,1.7%の性能向上を行う。 私たちのコードとプロンプトはhttps://github.com/zirui-HIT/Bridge_for_Numerical_Reasoning.orgで公開されています。

関連論文リスト

• LLM4ED: Large Language Models for Automatic Equation Discovery [0.8644909837301149]
  我々は、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデルをガイドする新しいフレームワークを導入する。 具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。 実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
  論文  参考訳（メタデータ） (2024-05-13T14:03:49Z)
• LLM-SR: Scientific Equation Discovery via Programming with Large Language Models [17.64574496035502]
  記号回帰として知られる伝統的な方程式発見法は、主にデータのみから方程式を抽出することに焦点を当てている。 LLM-SRは,大規模言語モデルの科学的知識とロバストなコード生成能力を活用する新しいアプローチである。 LLM-SRは3つの科学的領域にまたがって有効性を示し、物理的に正確な方程式を発見する。
  論文  参考訳（メタデータ） (2024-04-29T03:30:06Z)
• MMSR: Symbolic Regression is a Multimodal Task [12.660401635672967]
  記号回帰は、もともと最適化問題として定式化され、GPと強化学習アルゴリズムがそれを解決するために用いられた。 この問題を解決するために、研究者はデータから表現へのマッピングを翻訳問題として扱う。 本稿では,複数の主流データセット上で最も高度な結果が得られるMMSRを提案する。
  論文  参考訳（メタデータ） (2024-02-28T08:29:42Z)
• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• Generative error correction for code-switching speech recognition using large language models [49.06203730433107]
  コードスイッチング(英: Code-switching, CS)とは、2つ以上の言語が同じ文内に混在する現象である。 本稿では,大規模言語モデル (LLM) と ASR が生成する仮説のリストを利用して,CS 問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:49:48Z)
• NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual Question Answering [52.10214317661547]
  現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。 プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。 本稿では,非自己回帰型プログラム生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:25:21Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Efficient time stepping for numerical integration using reinforcement learning [0.15393457051344295]
  機械学習とメタラーニングに基づくデータ駆動型タイムステッピング方式を提案する。 まず、1つまたは複数の基礎学習者(非滑らかまたはハイブリッドシステムの場合)はRLを使用して訓練されます。 次に、メタ学習者は(システムの状態に応じて)現在の状況に最適と思われる基礎学習者を選択する訓練を受ける。
  論文  参考訳（メタデータ） (2021-04-08T07:24:54Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• A Robust Matching Pursuit Algorithm Using Information Theoretic Learning [37.968665739578185]
  情報理論学習(ITL)に基づく新しいOMPアルゴリズムの開発 シミュレーションおよび実世界の両方のデータに対する実験結果は、データ復元、画像再構成、分類において提案したOMPアルゴリズムの優位性を一貫して示している。
  論文  参考訳（メタデータ） (2020-05-10T01:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。