論文の概要: E-Gen: Leveraging E-Graphs to Improve Continuous Representations of Symbolic Expressions

• arxiv url: http://arxiv.org/abs/2501.14951v1
• Date: Fri, 24 Jan 2025 22:39:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 21:57:03.438058
• Title: E-Gen: Leveraging E-Graphs to Improve Continuous Representations of Symbolic Expressions
• Title（参考訳）: E-Gen: 記号表現の連続表現を改善するためにE-Graphを活用する
• Authors: Hongbo Zheng, Suyuan Wang, Neeraj Gangwar, Nickvash Kani,
• Abstract要約: 本稿では,新しい電子グラフ生成手法を用いて,より大規模な合成データセットによる事前アルゴリズムの拡張を提案する。 この新しい数学的データセット生成スキームであるE-Genは、サイズや演算子の種類に制限のある以前のデータセット生成スキームを改善する。 我々は,これらの手法によって生成された埋め込みを,分散処理とアウト・オブ・ディストリビューション言語処理の両方における先行作業に対して評価する。
• 参考スコア（独自算出の注目度）: 0.33748750222488655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As vector representations have been pivotal in advancing natural language processing (NLP), some prior research has concentrated on creating embedding techniques for mathematical expressions by leveraging mathematically equivalent expressions. While effective, these methods are limited by the training data. In this work, we propose augmenting prior algorithms with larger synthetic dataset, using a novel e-graph-based generation scheme. This new mathematical dataset generation scheme, E-Gen, improves upon prior dataset-generation schemes that are limited in size and operator types. We use this dataset to compare embedding models trained with two methods: (1) training the model to generate mathematically equivalent expressions, and (2) training the model using contrastive learning to group mathematically equivalent expressions explicitly. We evaluate the embeddings generated by these methods against prior work on both in-distribution and out-of-distribution language processing tasks. Finally, we compare the performance of our embedding scheme against state-of-the-art large language models and demonstrate that embedding-based language processing methods perform better than LLMs on several tasks, demonstrating the necessity of optimizing embedding methods for the mathematical data modality.
• Abstract（参考訳）: ベクトル表現は、自然言語処理(NLP)の進歩において重要な役割を担っているため、数学的に等価な表現を活用することで、数学的表現に埋め込み技術を開発することに集中している。 有効ではあるが、これらの方法はトレーニングデータによって制限される。 本研究では,新しい電子グラフ生成手法を用いて,より大規模な合成データセットを用いた事前アルゴリズムの拡張を提案する。 この新しい数学的データセット生成スキームであるE-Genは、サイズや演算子の種類に制限のある以前のデータセット生成スキームを改善する。 このデータセットを用いて,(1) 数学的に等価な表現を生成するためにモデルを訓練し,(2) 対照的な学習を用いてモデルを訓練し,数学的に等価な表現を明示的にグループ化する。 我々は,これらの手法によって生成された埋め込みを,分散処理とアウト・オブ・ディストリビューション言語処理の両方における先行作業に対して評価する。 最後に, 組込み方式と最先端の大規模言語モデルとの比較を行い, 組込み型言語処理手法が複数のタスクにおいて LLM よりも優れていることを示すとともに, 数学的データモダリティに対する組込み手法の最適化の必要性を実証する。

関連論文リスト

• MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task [49.355810887265925]
  数学的推論ステップ拡張のための新しいフレームワークであるMathFimerを紹介する。 我々は、慎重にキュレートしたNuminaMath-FIMデータセットに基づいて、特殊モデルMathFimer-7Bを開発した。 次に、これらのモデルを適用して、解鎖に詳細な中間ステップを挿入することで、既存の数学的推論データセットを強化する。
  論文  参考訳（メタデータ） (2025-02-17T11:22:24Z)
• Tensor Network Estimation of Distribution Algorithms [0.0]
  近年の論文では、テンソルネットワークを進化最適化アルゴリズムに統合する手法が登場している。 これらの手法の最適化性能は, 生成モデルのパワーと直接的に関係しないことがわかった。 これを踏まえると、生成モデルの出力に明示的な突然変異演算子を加えることで、最適化性能が向上することがしばしばある。
  論文  参考訳（メタデータ） (2024-12-27T18:22:47Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Mathematical Language Models: A Survey [29.419915295762692]
  本稿では,2つの異なる視点 – タスクと方法論 – から重要な研究成果を体系的に分類する,数学的 LM の総合的な調査を行う。 この調査では、トレーニングデータセット、ベンチマークデータセット、拡張データセットなど、60以上の数学的データセットのコンパイルがカバーされている。
  論文  参考訳（メタデータ） (2023-12-12T01:39:16Z)
• Investigating Masking-based Data Generation in Language Models [0.0]
  BERTと類似したアーキテクチャを持つモデルの特徴は、マスキング言語モデリングの目的である。 データ拡張は、機械学習で広く使われているデータ駆動技術である。 最近の研究は、NLP下流タスクのための人工的な拡張データを生成するためにマスク付き言語モデルを利用している。
  論文  参考訳（メタデータ） (2023-06-16T16:48:27Z)
• BERT is not The Count: Learning to Match Mathematical Statements with Proofs [34.61792250254876]
  この課題は、数学的情報検索に関する現在の研究や、より一般的には、数学的記事分析に当てはまる。 現代数学研究論文から抽出した180k以上の文対からなるデータセットについて述べる。 本稿では,文と証明を効果的にマッチングする双線形類似モデルと2つの復号法を提案する。
  論文  参考訳（メタデータ） (2023-02-18T14:48:20Z)
• ProjB: An Improved Bilinear Biased ProjE model for Knowledge Graph Completion [1.5576879053213302]
  この研究は、計算の複雑さが低く、モデル改善の可能性が高いため、ProjE KGEを改善する。 FB15KやWN18のようなベンチマーク知識グラフ(KG)の実験結果から、提案手法はエンティティ予測タスクにおける最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-15T18:18:05Z)
• Understanding High Dimensional Spaces through Visual Means Employing Multidimensional Projections [0.0]
  データ視覚化分野における関連する2つのアルゴリズムは、t分散近傍埋め込み(t-SNE)とLSP(Last-Square Projection)である。 これらのアルゴリズムは、データセットへの影響を含む、いくつかの数学的機能を理解するために使用することができる。 本稿では,多次元投影アルゴリズムの視覚的結果を用いて,それらの数学的枠組みのパラメータを理解・微調整する方法について述べる。
  論文  参考訳（メタデータ） (2022-07-12T20:30:33Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Syntax-Aware Network for Handwritten Mathematical Expression Recognition [53.130826547287626]
  手書き数式認識(HMER)は、多くの潜在的な応用が可能な課題である。 HMERの最近の手法はエンコーダ・デコーダアーキテクチャで優れた性能を実現している。 本稿では,構文情報をエンコーダ・デコーダネットワークに組み込んだHMERの簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-03T09:57:19Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• Improving Compositional Generalization with Self-Training for Data-to-Text Generation [36.973617793800315]
  データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。 構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。 擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T04:26:56Z)
• Dual Optimization for Kolmogorov Model Learning Using Enhanced Gradient Descent [8.714458129632158]
  コルモゴロフモデル(コルモゴロフモデル、英: Kolmogorov model、KM)は、確率変数の集合の基本的な確率構造を学ぶための解釈可能で予測可能な表現手法である。 正規化双対最適化と拡張勾配降下法(GD)を併用した計算スケーラブルなKM学習アルゴリズムを提案する。 提案したKM学習アルゴリズムを用いた論理的関係マイニングの精度は80%以上である。
  論文  参考訳（メタデータ） (2021-07-11T10:33:02Z)
• Learning to Synthesize Data for Semantic Parsing [57.190817162674875]
  本稿では,プログラムの構成をモデル化し,プログラムを発話にマップする生成モデルを提案する。 PCFGと事前学習されたBARTの簡易性により,既存のデータから効率的に生成モデルを学習することができる。 GeoQuery と Spider の標準ベンチマークで解析する text-to-Query の in-domain と out-of-domain の両方で、この手法を評価します。
  論文  参考訳（メタデータ） (2021-04-12T21:24:02Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Multiple Word Embeddings for Increased Diversity of Representation [15.279850826041066]
  本稿では,実行時間の増加を無視できるような,強いベースライン上での性能を実質的に一貫的に向上させる手法を示す。 我々は、事前学習した埋め込み類似性と語彙被覆の側面を分析し、表現多様性がなぜこの技術が機能するかの原動力であることを見出した。
  論文  参考訳（メタデータ） (2020-09-30T02:33:09Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。