論文の概要: E-Gen: Leveraging E-Graphs to Improve Continuous Representations of Symbolic Expressions

• arxiv url: http://arxiv.org/abs/2501.14951v2
• Date: Sun, 09 Mar 2025 20:31:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:42:59.796635
• Title: E-Gen: Leveraging E-Graphs to Improve Continuous Representations of Symbolic Expressions
• Title（参考訳）: E-Gen: 記号表現の連続表現を改善するためにE-Graphを活用する
• Authors: Hongbo Zheng, Suyuan Wang, Neeraj Gangwar, Nickvash Kani,
• Abstract要約: 大規模かつ多様な数学的表現データセットを合成する新しい電子グラフベースのデータセット生成スキームであるE-Genを紹介する。 数学的に等価な表現を生成するための2つの戦略と、等価な表現を明示的にグループ化するための対照的な学習を用いて埋め込みモデルを訓練する。 組込み型アプローチは、いくつかのタスクにおいて最先端の大規模言語モデルよりも優れていることを実証する。
• 参考スコア（独自算出の注目度）: 0.33748750222488655
• License:
• Abstract: Vector representations have been pivotal in advancing natural language processing (NLP), with prior research focusing on embedding techniques for mathematical expressions using mathematically equivalent formulations. While effective, these approaches are constrained by the size and diversity of training data. In this work, we address these limitations by introducing E-Gen, a novel e-graph-based dataset generation scheme that synthesizes large and diverse mathematical expression datasets, surpassing prior methods in size and operator variety. Leveraging this dataset, we train embedding models using two strategies: (1) generating mathematically equivalent expressions, and (2) contrastive learning to explicitly group equivalent expressions. We evaluate these embeddings on both in-distribution and out-of-distribution mathematical language processing tasks, comparing them against prior methods. Finally, we demonstrate that our embedding-based approach outperforms state-of-the-art large language models (LLMs) on several tasks, underscoring the necessity of optimizing embedding methods for the mathematical data modality. The source code and datasets are available at https://github.com/MLPgroup/E-Gen.
• Abstract（参考訳）: ベクトル表現は、数学的に等価な定式化を用いた数学的表現の埋め込み技術に焦点を当てた、自然言語処理(NLP)の進歩において重要な役割を担っている。 効果はあるものの、これらのアプローチはトレーニングデータのサイズと多様性によって制約される。 本研究では,電子グラフに基づく新しいデータセット生成手法であるE-Genを導入することにより,これらの制約に対処する。 このデータセットを利用することで,(1)数学的に等価な表現を生成すること,(2)表現を明示的にグループ化するために対照的な学習を行うこと,の2つの戦略を用いて埋め込みモデルを訓練する。 本研究では,これらの埋め込みを,従来の手法と比較し,分布内および分布外両方の数学的言語処理タスクに対して評価する。 最後に, 組込みに基づく手法は, 数学データモダリティに対する組込み手法の最適化の必要性を浮き彫りにして, いくつかのタスクにおいて, 最先端の大規模言語モデル(LLM)よりも優れていることを示す。 ソースコードとデータセットはhttps://github.com/MLPgroup/E-Gen.comで公開されている。

関連論文リスト

• Integrating Arithmetic Learning Improves Mathematical Reasoning in Smaller Models [0.0]
  高品質なデータに事前訓練された大規模なモデルは、様々な推論タスクにおいて優れたパフォーマンスを示す。 より小さな学生モデルは教師モデルから学び、質問を言い換えるなどのデータ拡張を行う。 これらの努力にもかかわらず、より小さなモデルは算術計算に苦慮し、数学的推論の誤りにつながる。
  論文  参考訳（メタデータ） (2025-02-18T13:43:06Z)
• Investigating Masking-based Data Generation in Language Models [0.0]
  BERTと類似したアーキテクチャを持つモデルの特徴は、マスキング言語モデリングの目的である。 データ拡張は、機械学習で広く使われているデータ駆動技術である。 最近の研究は、NLP下流タスクのための人工的な拡張データを生成するためにマスク付き言語モデルを利用している。
  論文  参考訳（メタデータ） (2023-06-16T16:48:27Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Syntax-Aware Network for Handwritten Mathematical Expression Recognition [53.130826547287626]
  手書き数式認識(HMER)は、多くの潜在的な応用が可能な課題である。 HMERの最近の手法はエンコーダ・デコーダアーキテクチャで優れた性能を実現している。 本稿では,構文情報をエンコーダ・デコーダネットワークに組み込んだHMERの簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-03T09:57:19Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• Improving Compositional Generalization with Self-Training for Data-to-Text Generation [36.973617793800315]
  データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。 構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。 擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T04:26:56Z)
• Dual Optimization for Kolmogorov Model Learning Using Enhanced Gradient Descent [8.714458129632158]
  コルモゴロフモデル(コルモゴロフモデル、英: Kolmogorov model、KM)は、確率変数の集合の基本的な確率構造を学ぶための解釈可能で予測可能な表現手法である。 正規化双対最適化と拡張勾配降下法(GD)を併用した計算スケーラブルなKM学習アルゴリズムを提案する。 提案したKM学習アルゴリズムを用いた論理的関係マイニングの精度は80%以上である。
  論文  参考訳（メタデータ） (2021-07-11T10:33:02Z)
• Learning to Synthesize Data for Semantic Parsing [57.190817162674875]
  本稿では,プログラムの構成をモデル化し,プログラムを発話にマップする生成モデルを提案する。 PCFGと事前学習されたBARTの簡易性により,既存のデータから効率的に生成モデルを学習することができる。 GeoQuery と Spider の標準ベンチマークで解析する text-to-Query の in-domain と out-of-domain の両方で、この手法を評価します。
  論文  参考訳（メタデータ） (2021-04-12T21:24:02Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Multiple Word Embeddings for Increased Diversity of Representation [15.279850826041066]
  本稿では,実行時間の増加を無視できるような,強いベースライン上での性能を実質的に一貫的に向上させる手法を示す。 我々は、事前学習した埋め込み類似性と語彙被覆の側面を分析し、表現多様性がなぜこの技術が機能するかの原動力であることを見出した。
  論文  参考訳（メタデータ） (2020-09-30T02:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。