論文の概要: Can Transformers Do Enumerative Geometry?

• arxiv url: http://arxiv.org/abs/2408.14915v1
• Date: Tue, 27 Aug 2024 09:44:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 14:13:27.300097
• Title: Can Transformers Do Enumerative Geometry?
• Title（参考訳）: 変圧器は数え上げ幾何学ができるか?
• Authors: Baran Hashemi, Roderic G. Corominas, Alessandro Giacchetto,
• Abstract要約: 曲線のモジュライ空間上の$psi$クラス交叉数を解析するための計算列挙幾何学の新しいパラダイムを導入する。 量子エアリー構造に基づく$psi$クラス交叉数を計算するためのTransformerベースのモデルを開発した。 我々は単に交叉数を計算し、トランスフォーマーの列挙的な「世界モデル」を探求する。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can Transformers model and learn enumerative geometry? What is a robust procedure for using Transformers in abductive knowledge discovery within a mathematician-machine collaboration? In this work, we introduce a new paradigm in computational enumerative geometry in analyzing the $\psi$-class intersection numbers on the moduli space of curves. By formulating the enumerative problem as a continuous optimization task, we develop a Transformer-based model for computing $\psi$-class intersection numbers based on the underlying quantum Airy structure. For a finite range of genera, our model is capable of regressing intersection numbers that span an extremely wide range of values, from $10^{-45}$ to $10^{45}$. To provide a proper inductive bias for capturing the recursive behavior of intersection numbers, we propose a new activation function, Dynamic Range Activator (DRA). Moreover, given the severe heteroscedasticity of $\psi$-class intersections and the required precision, we quantify the uncertainty of the predictions using Conformal Prediction with a dynamic sliding window that is aware of the number of marked points. Next, we go beyond merely computing intersection numbers and explore the enumerative "world-model" of the Transformers. Through a series of causal inference and correlational interpretability analyses, we demonstrate that Transformers are actually modeling Virasoro constraints in a purely data-driven manner. Additionally, we provide evidence for the comprehension of several values appearing in the large genus asymptotic of $\psi$-class intersection numbers through abductive hypothesis testing.
• Abstract（参考訳）: トランスフォーマーはどのようにして数え上げ幾何学をモデル化し学習するか? 数学者と機械の協調による帰納的知識発見におけるトランスフォーマーの堅牢な方法とは何か? 本研究では,曲線のモジュライ空間上の$\psi$クラス交叉数の解析において,計算列挙幾何学の新しいパラダイムを導入する。 列挙問題を連続最適化タスクとして定式化することにより、基礎となる量子エアリー構造に基づく$\psi$クラス交叉数を計算するためのTransformerベースのモデルを開発する。 有限の属数に対して、我々のモデルは、非常に広い範囲の値である10^{-45}$から10^{45}$までの交叉数を回帰することができる。 交叉数の再帰的挙動を捉えるための適切な帰納バイアスとして,新しいアクティベーション関数であるダイナミックレンジアクティベーター(DRA)を提案する。 さらに,$\psi$-classの交点と所要精度の厳密な異方性を考えると,特徴点数に気付く動的スライディングウインドウを用いて,コンフォーマル予測による予測の不確かさを定量化する。 次に、単に交叉数を計算し、トランスフォーマーの列挙的「世界モデル」を探索する。 一連の因果推論と相関解釈可能性分析を通じて,トランスフォーマーがビラソーロ制約を純粋にデータ駆動方式でモデル化していることを示す。 さらに、帰納的仮説テストを通じて、$\psi$クラス交叉数の大属漸近に現れるいくつかの値の理解の証拠を提供する。

関連論文リスト

• On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
  多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
  論文  参考訳（メタデータ） (2024-10-29T03:27:56Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• Towards Understanding Inductive Bias in Transformers: A View From Infinity [9.00214539845063]
  変換器は、列空間のより置換対称関数に偏りがちである。 対称群の表現論は定量的な解析的予測に利用できることを示す。 我々は、WikiTextデータセットは、実際に置換対称性の程度を持っていると主張している。
  論文  参考訳（メタデータ） (2024-02-07T19:00:01Z)
• Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
  本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
  論文  参考訳（メタデータ） (2023-09-08T02:44:37Z)
• Transformers Learn Shortcuts to Automata [52.015990420075944]
  低深度変換器は任意の有限状態オートマトンを計算できる。 我々は,$O(log T)$レイヤを持つ変換器が,長さ$T$の入力シーケンス上で,オートマトンを正確に再現可能であることを示す。 さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:45:48Z)
• The Parallelism Tradeoff: Limitations of Log-Precision Transformers [29.716269397142973]
  入力トークン数における算術精度が対数的である変換器は、定数深さの対数空間一様しきい値回路でシミュレートできることを示す。 これは、複雑性理論の既知の結果を用いた変圧器のパワーに関する洞察を与える。
  論文  参考訳（メタデータ） (2022-07-02T03:49:34Z)
• $O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers [71.31712741938837]
  注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。 また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
  論文  参考訳（メタデータ） (2020-06-08T18:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。