論文の概要: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
- arxiv url: http://arxiv.org/abs/2512.01870v1
- Date: Mon, 01 Dec 2025 16:51:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.96951
- Title: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
- Title（参考訳）: ルート木の算数列における変圧器の学習性試験
- Authors: Alessandro Breccia, Federica Gerace, Marco Lippi, Gabriele Sicuro, Pierluigi Contucci,
- Abstract要約: 大規模言語モデルが自然数の反復素因数分解によって生成される木の決定論的列を学習できるかどうかを考察する。
この結果は,非自明な正規性と相関関係を捉えることによって,$mathbbNmathcalT$の内部文法を部分的に学習することを示す。
- 参考スコア（独自算出の注目度）: 41.17969667763904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study whether a Large Language Model can learn the deterministic sequence of trees generated by the iterated prime factorization of the natural numbers. Each integer is mapped into a rooted planar tree and the resulting sequence $ \mathbb{N}\mathcal{T}$ defines an arithmetic text with measurable statistical structure. A transformer network (the GPT-2 architecture) is trained from scratch on the first $10^{11}$ elements to subsequently test its predictive ability under next-word and masked-word prediction tasks. Our results show that the model partially learns the internal grammar of $\mathbb{N}\mathcal{T}$, capturing non-trivial regularities and correlations. This suggests that learnability may extend beyond empirical data to the very structure of arithmetic.
- Abstract（参考訳）: 大規模言語モデルが自然数の反復素因数分解によって生成される木の決定論的列を学習できるかどうかを考察する。
各整数は根付き平面木にマッピングされ、結果の列 $ \mathbb{N}\mathcal{T}$ は可測な統計構造を持つ算術テキストを定義する。
変圧器ネットワーク(GPT-2アーキテクチャ)は、最初の10^{11}$要素をスクラッチからトレーニングし、次のワードおよびマスク付きワード予測タスクで予測能力をテストする。
この結果は,非自明な正規性や相関関係を捉えることで,$\mathbb{N}\mathcal{T}$の内部文法を部分的に学習することを示す。
このことは、学習可能性が経験的データを超えて算術の構造にまで広がることを示唆している。
関連論文リスト
- Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。
実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
論文 参考訳（メタデータ） (2025-09-29T12:55:50Z) - (How) Can Transformers Predict Pseudo-Random Numbers? [7.201095605457193]
線形合同生成器(LCG)から擬似ランダム数列を学習するトランスフォーマーの能力について検討する。
トランスフォーマーは、未知のmoduli(m$)とパラメータ(a,c$)でLCGシーケンスのコンテキスト内予測を行うことができる。
また、Transformerは、$m_texttest = 216$まで、unseen moduliに一般化できることを示す。
論文 参考訳（メタデータ） (2025-02-14T18:59:40Z) - TAMER: Tree-Aware Transformer for Handwritten Mathematical Expression Recognition [17.855238221599635]
我々は手書き数式認識のための新しいモデルTAMER(Tree-Aware Transformer)を提案する。
TAMERは、シーケンス予測とツリー構造予測を協調的に最適化することで、シーケンス復号とツリー復号モデルの両方の利点を組み合わせる。
CROHMEデータセットの実験結果は、TAMERが従来のシーケンスデコーディングモデルより優れていることを示している。
論文 参考訳（メタデータ） (2024-08-16T07:24:19Z) - Characterizing Intrinsic Compositionality in Transformers with Tree
Projections [72.45375959893218]
トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。
3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。
これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
論文 参考訳（メタデータ） (2022-11-02T17:10:07Z) - Inducing Transformer's Compositional Generalization Ability via
Auxiliary Sequence Prediction Tasks [86.10875837475783]
体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。
既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。
本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
論文 参考訳（メタデータ） (2021-09-30T16:41:19Z) - Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
自然および合成言語に対する文脈自由文法の生成特性をモデル化する。
潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。
また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
論文 参考訳（メタデータ） (2020-10-09T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。