論文の概要: Transformers in Pseudo-Random Number Generation: A Dual Perspective on Theory and Practice

• arxiv url: http://arxiv.org/abs/2508.01134v1
• Date: Sat, 02 Aug 2025 01:31:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.725733
• Title: Transformers in Pseudo-Random Number Generation: A Dual Perspective on Theory and Practice
• Title（参考訳）: 擬似乱数生成における変圧器:理論と実践の両面的展望
• Authors: Ran Li, Lingshu Zeng,
• Abstract要約: Pseudo-random number generators (PRNG) は高非線形プロセスであり、大規模言語モデルの最適化において鍵となるブロックである。 変換器を用いて高品質な擬似ランダム数を生成することは妥当であることを示す。
• 参考スコア（独自算出の注目度）: 1.8725832935669624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pseudo-random number generators (PRNGs) are high-nonlinear processes, and they are key blocks in optimization of Large language models. Transformers excel at processing complex nonlinear relationships. Thus it is reasonable to generate high-quality pseudo-random numbers based on transformers. In this paper, we explore this question from both theoretical and practical perspectives, highlighting the potential benefits and implications of Transformer in PRNGs. We theoretically demonstrate that decoder-only Transformer models with Chain-of-Thought can simulate both the Linear Congruential Generator (LCG) and Mersenne Twister (MT) PRNGs. Based on this, we conclude that the log-precision decoder-only Transformer can represent non-uniform $\text{AC}^0$. Our simulative theoretical findings are validated through experiments. The random numbers generated by Transformer-based PRNGs successfully pass the majority of NIST tests, whose heat maps exhibit clear statistical randomness. Finally, we assess their capability in prediction attacks.
• Abstract（参考訳）: Pseudo-random number generators (PRNG) は高非線形プロセスであり、大規模言語モデルの最適化において鍵となるブロックである。 変換器は複雑な非線形関係の処理に優れる。 したがって、変換器に基づいて高品質な擬似ランダム数を生成することは合理的である。 本稿では,PRNG における Transformer のメリットと意義を明らかにするとともに,理論的および実践的両面からこの問題を考察する。 理論的には、Chain-of-Thoughtを用いたデコーダのみのトランスフォーマーモデルは、Linear Congruential Generator (LCG) とMersenne Twister (MT) PRNGの両方をシミュレートできる。 これに基づいて、log-precision decoder のみの Transformer は非uniform $\text{AC}^0$ を表現できる。 我々のシミュレーティブな理論的な発見は実験を通して検証される。 Transformer-based PRNGs が生成したランダム数は NIST テストの大部分をパスし、その熱マップは明らかな統計的ランダム性を示す。 最後に、予測攻撃におけるそれらの能力を評価する。

関連論文リスト

• Transformers Simulate MLE for Sequence Generation in Bayesian Networks [18.869174453242383]
  In-context maximum max estimation (MLE) に基づくベイズネットワークにおける変圧器の自己回帰生成機能について検討する。 ベイジアンネットワークの条件確率を文脈に応じて推定できる単純な変圧器モデルが存在することを実証する。 さらに、このような変圧器が理論上存在するだけでなく、訓練を通じて効果的に得られることを、広範な実験で実証する。
  論文  参考訳（メタデータ） (2025-01-05T13:56:51Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Simulating Weighted Automata over Sequences and Trees with Transformers [5.078561931628571]
  DFAを仮定するモデルのクラスである重み付き有限オートマトン (WFAs) と重み付き木オートマトン (WTA) をシミュレートできることを示す。 我々はこれらの主張を正式に証明し、ターゲットオートマタの状態数の関数として必要とされる変換器モデルのサイズについて上限を与える。
  論文  参考訳（メタデータ） (2024-03-12T21:54:34Z)
• Do Efficient Transformers Really Save Computation? [32.919672616480135]
  我々は、効率的な変換器、特にスパース変換器と線形変換器の機能と限界に焦点を当てる。 以上の結果から,これらのモデルは一般のDPタスクを解くのに十分な表現力を持っているが,期待とは裏腹に,問題のサイズに合わせてスケールするモデルサイズが必要であることが示唆された。 我々は,これらのモデルが標準のTransformerよりも効率的であるようなDP問題のクラスを同定する。
  論文  参考訳（メタデータ） (2024-02-21T17:00:56Z)
• AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
  アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。 特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• Transformers can optimally learn regression mixture models [22.85684729248361]
  変換器は回帰の混合に対して最適な予測器を学習できることを示す。 実験では、トランスフォーマーがサンプル効率のよい方法で回帰の混合を学習できることも示している。 決定理論の最適手順が実際に変換器によって実装可能であることを具体的確に証明する。
  論文  参考訳（メタデータ） (2023-11-14T18:09:15Z)
• The Parallelism Tradeoff: Limitations of Log-Precision Transformers [29.716269397142973]
  入力トークン数における算術精度が対数的である変換器は、定数深さの対数空間一様しきい値回路でシミュレートできることを示す。 これは、複雑性理論の既知の結果を用いた変圧器のパワーに関する洞察を与える。
  論文  参考訳（メタデータ） (2022-07-02T03:49:34Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。