論文の概要: Can Transformers Do Enumerative Geometry?

• arxiv url: http://arxiv.org/abs/2408.14915v1
• Date: Tue, 27 Aug 2024 09:44:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 14:13:27.300097
• Title: Can Transformers Do Enumerative Geometry?
• Title（参考訳）: 変圧器は数え上げ幾何学ができるか?
• Authors: Baran Hashemi, Roderic G. Corominas, Alessandro Giacchetto,
• Abstract要約: 曲線のモジュライ空間上の$psi$クラス交叉数を解析するための計算列挙幾何学の新しいパラダイムを導入する。 量子エアリー構造に基づく$psi$クラス交叉数を計算するためのTransformerベースのモデルを開発した。 我々は単に交叉数を計算し、トランスフォーマーの列挙的な「世界モデル」を探求する。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can Transformers model and learn enumerative geometry? What is a robust procedure for using Transformers in abductive knowledge discovery within a mathematician-machine collaboration? In this work, we introduce a new paradigm in computational enumerative geometry in analyzing the $\psi$-class intersection numbers on the moduli space of curves. By formulating the enumerative problem as a continuous optimization task, we develop a Transformer-based model for computing $\psi$-class intersection numbers based on the underlying quantum Airy structure. For a finite range of genera, our model is capable of regressing intersection numbers that span an extremely wide range of values, from $10^{-45}$ to $10^{45}$. To provide a proper inductive bias for capturing the recursive behavior of intersection numbers, we propose a new activation function, Dynamic Range Activator (DRA). Moreover, given the severe heteroscedasticity of $\psi$-class intersections and the required precision, we quantify the uncertainty of the predictions using Conformal Prediction with a dynamic sliding window that is aware of the number of marked points. Next, we go beyond merely computing intersection numbers and explore the enumerative "world-model" of the Transformers. Through a series of causal inference and correlational interpretability analyses, we demonstrate that Transformers are actually modeling Virasoro constraints in a purely data-driven manner. Additionally, we provide evidence for the comprehension of several values appearing in the large genus asymptotic of $\psi$-class intersection numbers through abductive hypothesis testing.
• Abstract（参考訳）: トランスフォーマーはどのようにして数え上げ幾何学をモデル化し学習するか? 数学者と機械の協調による帰納的知識発見におけるトランスフォーマーの堅牢な方法とは何か? 本研究では,曲線のモジュライ空間上の$\psi$クラス交叉数の解析において,計算列挙幾何学の新しいパラダイムを導入する。 列挙問題を連続最適化タスクとして定式化することにより、基礎となる量子エアリー構造に基づく$\psi$クラス交叉数を計算するためのTransformerベースのモデルを開発する。 有限の属数に対して、我々のモデルは、非常に広い範囲の値である10^{-45}$から10^{45}$までの交叉数を回帰することができる。 交叉数の再帰的挙動を捉えるための適切な帰納バイアスとして,新しいアクティベーション関数であるダイナミックレンジアクティベーター(DRA)を提案する。 さらに,$\psi$-classの交点と所要精度の厳密な異方性を考えると,特徴点数に気付く動的スライディングウインドウを用いて,コンフォーマル予測による予測の不確かさを定量化する。 次に、単に交叉数を計算し、トランスフォーマーの列挙的「世界モデル」を探索する。 一連の因果推論と相関解釈可能性分析を通じて,トランスフォーマーがビラソーロ制約を純粋にデータ駆動方式でモデル化していることを示す。 さらに、帰納的仮説テストを通じて、$\psi$クラス交叉数の大属漸近に現れるいくつかの値の理解の証拠を提供する。

関連論文リスト

• (How) Can Transformers Predict Pseudo-Random Numbers? [7.201095605457193]
  線形合同生成器(LCG)から擬似ランダム数列を学習するトランスフォーマーの能力について検討する。 我々の分析によれば、トランスフォーマーは無意味なmoduli(m$)とパラメータ(a,c$)でLCGシーケンスのコンテキスト内予測を行うことができる。
  論文  参考訳（メタデータ） (2025-02-14T18:59:40Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• Towards Understanding Inductive Bias in Transformers: A View From Infinity [9.00214539845063]
  変換器は、列空間のより置換対称関数に偏りがちである。 対称群の表現論は定量的な解析的予測に利用できることを示す。 我々は、WikiTextデータセットは、実際に置換対称性の程度を持っていると主張している。
  論文  参考訳（メタデータ） (2024-02-07T19:00:01Z)
• Transolver: A Fast Transformer Solver for PDEs on General Geometries [66.82060415622871]
  本稿では, 離散化された測地の背後に隠れた本質的な物理状態を学習するTransolverについて述べる。 スライスから符号化された物理認識トークンに注意を向けることで、Transovlerは複雑な物理的相関を効果的に捉えることができる。 Transolverは6つの標準ベンチマークで22%の相対的な利得で一貫した最先端を実現し、大規模産業シミュレーションでも優れている。
  論文  参考訳（メタデータ） (2024-02-04T06:37:38Z)
• Efficient Nonparametric Tensor Decomposition for Binary and Count Data [27.02813234958821]
  本稿では、二分数テンソルと数テンソルのアンダーラインデコンポジションとして、アンダーライン効率のアンダーラインNonアンダーラインテンソルであるENTEDを提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:27:03Z)
• Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
  本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
  論文  参考訳（メタデータ） (2023-09-08T02:44:37Z)
• Scalable Transformer for PDE Surrogate Modeling [9.438207505148947]
  Transformerは偏微分方程式(PDE)の代理モデリングのための有望なツールとして登場した。 本稿では, 軸因子化カーネル積分に基づくFactFormer(FactFormer)を提案する。 提案モデルでは,2Dコルモゴロフフローを256時間256ドルグリッドと3Dスモーク浮力で644時間64時間64ドルグリッドでシミュレートでき,精度と効率がよいことを示す。
  論文  参考訳（メタデータ） (2023-05-27T19:23:00Z)
• Transformers Learn Shortcuts to Automata [52.015990420075944]
  低深度変換器は任意の有限状態オートマトンを計算できる。 我々は,$O(log T)$レイヤを持つ変換器が,長さ$T$の入力シーケンス上で,オートマトンを正確に再現可能であることを示す。 さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:45:48Z)
• $O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers [71.31712741938837]
  注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。 また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
  論文  参考訳（メタデータ） (2020-06-08T18:30:12Z)
• Deep neural networks for inverse problems with pseudodifferential operators: an application to limited-angle tomography [0.4110409960377149]
  線形逆問題において擬微分演算子(Psi$DOs)を学習するための新しい畳み込みニューラルネットワーク(CNN)を提案する。 フォワード演算子のより一般的な仮定の下では、ISTAの展開された反復はCNNの逐次的な層として解釈できることを示す。 特に、LA-CTの場合、アップスケーリング、ダウンスケーリング、畳み込みの操作は、制限角X線変換の畳み込み特性とウェーブレット系を定義する基本特性を組み合わせることで正確に決定できることを示す。
  論文  参考訳（メタデータ） (2020-06-02T14:03:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。