論文の概要: Geometric Generality of Transformer-Based Gröbner Basis Computation

• arxiv url: http://arxiv.org/abs/2504.12465v1
• Date: Wed, 16 Apr 2025 20:01:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:38:14.106499
• Title: Geometric Generality of Transformer-Based Gröbner Basis Computation
• Title（参考訳）: 変圧器ベースGröbner基底計算の幾何学的一般性
• Authors: Yuta Kambe, Yota Maeda, Tristan Vaccon,
• Abstract要約: 本稿では,変換器を用いたGr"オブザーバ基底の計算について述べる。 提案アルゴリズムが生成したデータセットは十分汎用的であることを示す。 また,理想的なジェネレータのデータセットを体系的に構築する拡張一般化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The intersection of deep learning and symbolic mathematics has seen rapid progress in recent years, exemplified by the work of Lample and Charton. They demonstrated that effective training of machine learning models for solving mathematical problems critically depends on high-quality, domain-specific datasets. In this paper, we address the computation of Gr\"obner basis using Transformers. While a dataset generation method tailored to Transformer-based Gr\"obner basis computation has previously been proposed, it lacked theoretical guarantees regarding the generality or quality of the generated datasets. In this work, we prove that datasets generated by the previously proposed algorithm are sufficiently general, enabling one to ensure that Transformers can learn a sufficiently diverse range of Gr\"obner bases. Moreover, we propose an extended and generalized algorithm to systematically construct datasets of ideal generators, further enhancing the training effectiveness of Transformer. Our results provide a rigorous geometric foundation for Transformers to address a mathematical problem, which is an answer to Lample and Charton's idea of training on diverse or representative inputs.
• Abstract（参考訳）: 深層学習と記号数学の交わりは近年急速に進歩し、ラムプルとチャートンの研究によって実証されている。 彼らは、数学的問題を批判的に解くための機械学習モデルの効果的なトレーニングは、高品質でドメイン固有のデータセットに依存することを示した。 本稿では,変換器を用いたGr\"オブザーバ基底の計算について述べる。 トランスフォーマーベースのGr\に合わせたデータセット生成手法が提案されているが、生成したデータセットの汎用性や品質に関する理論的保証は欠如している。 本研究では,従来提案されていたアルゴリズムが生成したデータセットが十分に一般的なものであることを証明し,トランスフォーマーが十分に多様なGr\オブナーベースを学べるようにした。 さらに,理想生成器のデータセットを体系的に構築する拡張一般化アルゴリズムを提案し,トランスフォーマーのトレーニング効果をさらに高めている。 この結果は、変換器が数学的問題に対処するための厳密な幾何学的基礎を提供する。これは、多様または代表的な入力に対するLampleとChartonのトレーニングという考え方に対する答えである。

関連論文リスト

• Graph Transformers Dream of Electric Flow [72.06286909236827]
  グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。 提案手法は,各アルゴリズムを実装するための明示的な重み設定を示し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。 我々の研究は、グラフデータのためのTransformerの内部処理を解明するための最初のステップです。
  論文  参考訳（メタデータ） (2024-10-22T05:11:45Z)
• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
  アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。 特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• Looped Transformers are Better at Learning Learning Algorithms [16.98720552888865]
  本稿ではループ変換器アーキテクチャとその学習手法について述べる。 実験結果から, ループ変換器は標準変圧器に匹敵する性能を実現することが示唆された。
  論文  参考訳（メタデータ） (2023-11-21T08:32:38Z)
• Transformer-based Planning for Symbolic Regression [18.90700817248397]
  シンボリック・レグレッションのためのトランスフォーマーに基づく計画戦略であるTPSRを提案する。 従来の復号法とは異なり、TPSRは精度や複雑さなど、微分不可能なフィードバックの統合を可能にする。 我々の手法は最先端の手法より優れており、モデルの適合・複雑性トレードオフ、象徴的能力、騒音に対する堅牢性を高めている。
  論文  参考訳（メタデータ） (2023-03-13T03:29:58Z)
• Linear algebra with transformers [0.0]
  数値計算を高精度に行うために,変圧器を訓練できることを示す。 線形代数の問題を考察する:行列変換、加算、乗法、固有値とベクトル、特異値分解、反転。
  論文  参考訳（メタデータ） (2021-12-03T13:21:57Z)
• THG: Transformer with Hyperbolic Geometry [8.895324519034057]
  X-former"モデルは、自己注意の2次時間とメモリの複雑さにのみ変更を加える。 ユークリッド空間と双曲空間の両方の利点を生かした,双曲幾何モデル(THG)を提案する。
  論文  参考訳（メタデータ） (2021-06-01T14:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。