論文の概要: Transformers to Predict the Applicability of Symbolic Integration Routines

• arxiv url: http://arxiv.org/abs/2410.23948v1
• Date: Thu, 31 Oct 2024 14:03:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:59:48.319946
• Title: Transformers to Predict the Applicability of Symbolic Integration Routines
• Title（参考訳）: シンボリック統合ルーチンの適用可能性を予測するトランスフォーマー
• Authors: Rashid Barket, Uzma Shafiq, Matthew England, Juergen Gerhard,
• Abstract要約: 我々は、このタスクをコンピュータシステムで最適化するために機械学習がどのように使われるかを検討する。 我々は、特定の統合手法が成功するかどうかを予測するトランスフォーマーを訓練し、既存の人造アルジェブラと比較する。 変換器はこれらのガードより優れており、最大30%の精度と70%の精度が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Symbolic integration is a fundamental problem in mathematics: we consider how machine learning may be used to optimise this task in a Computer Algebra System (CAS). We train transformers that predict whether a particular integration method will be successful, and compare against the existing human-made heuristics (called guards) that perform this task in a leading CAS. We find the transformer can outperform these guards, gaining up to 30% accuracy and 70% precision. We further show that the inference time of the transformer is inconsequential which shows that it is well-suited to include as a guard in a CAS. Furthermore, we use Layer Integrated Gradients to interpret the decisions that the transformer is making. If guided by a subject-matter expert, the technique can explain some of the predictions based on the input tokens, which can lead to further optimisations.
• Abstract（参考訳）: 我々は、このタスクをコンピュータ代数システム(CAS: Computer Algebra System)で最適化するために機械学習をどのように使うかを考える。 我々は、特定の統合手法が成功するかどうかを予測するトランスフォーマーを訓練し、このタスクを主要なCASで実行する既存の人造ヒューリスティック(ガードと呼ばれる)と比較する。 変換器はこれらのガードより優れており、最大30%の精度と70%の精度が得られる。 さらに、トランスの推論時間が不適切であることを示し、CASにガードとして組み込むのが適していることを示す。 さらに、変換器が行う決定を解釈するためにLayer Integrated Gradientsを使用します。 サブミット・マッターの専門家によってガイドされた場合、このテクニックは入力トークンに基づいて予測の一部を説明できるため、さらなる最適化につながる可能性がある。

関連論文リスト

• One-Layer Transformer Provably Learns One-Nearest Neighbor In Context [48.4979348643494]
  本研究では、1層変圧器が1層近傍の規則を学習する能力について検討する。 単一のソフトマックスアテンション層は、ワンアレスト隣人のように振る舞うことをうまく学ぶことができる。
  論文  参考訳（メタデータ） (2024-11-16T16:12:42Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• On the Optimization and Generalization of Two-layer Transformers with Sign Gradient Descent [51.50999191584981]
  Sign Gradient Descent (SignGD) はアダムの効果的なサロゲートである。 我々はSignGDが雑音の多いデータセット上で2層トランスを最適化する方法について検討する。 SignGDの一般化が不十分なのはデータノイズによるものではなく、SignGDとAdamの両方が現実世界のタスクに高品質なデータを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2024-10-07T09:36:43Z)
• Are Transformers in Pre-trained LM A Good ASR Encoder? An Empirical Study [52.91899050612153]
  自動音声認識(ASR)のためのエンコーダとして再利用された事前訓練言語モデル(PLM)内のトランスフォーマー 本研究は,事前学習したLMのトランスフォーマーを組み込んだASRタスクにおいて,文字誤り率 (CER) とワード誤り率 (WER) の顕著な改善が認められた。 このことは、事前訓練されたトランスフォーマーに埋め込まれたセマンティックな技術を活用して、ASRシステムの能力を向上させる可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-09-26T11:31:18Z)
• Dissecting Multiplication in Transformers: Insights into LLMs [23.109124772063574]
  本稿では,この領域における変圧器の不完全性を探索し,説明するために,典型的な算術的タスクである整数乗法に焦点を当てる。 n桁整数乗算を行うために訓練されたバニラ変圧器の包括的解析を行う。 乗算タスクにおける変換器の性能向上のための改良を提案する。
  論文  参考訳（メタデータ） (2024-07-22T04:07:26Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Understanding the Training and Generalization of Pretrained Transformer for Sequential Decision Making [7.8816327398541635]
  逐次的意思決定問題に対する教師付き事前学習型変換器について検討する。 このような構造は、事前学習フェーズにおける最適なアクション/決定の使用を可能にする。
  論文  参考訳（メタデータ） (2024-05-23T06:28:44Z)
• DoT: An efficient Double Transformer for NLP tasks with tables [3.0079490585515343]
  DoTは、問題を2つのサブタスクに分解するダブルトランスフォーマーモデルである。 少ない精度でDoTはトレーニング時間と推論時間を少なくとも50%改善することを示した。
  論文  参考訳（メタデータ） (2021-06-01T13:33:53Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。