論文の概要: Reproducible AI Requires Reproducible Randomness
- arxiv url: http://arxiv.org/abs/2609.26461v1
- Date: Tue, 22 Sep 2026 14:14:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.686945
- Title: Reproducible AI Requires Reproducible Randomness
- Title(参考訳): 再現可能なAIは再現可能なランダム性を必要とする
- Abstract要約: 本研究では,完全初期状態がPRNGストリームの相互信頼度と可搬性を確保することができるかどうかを検討する。
広くデプロイされている2つのジェネレータであるMersenneとPhiloxに注目し、その実装を4つの主要なPythonエコシステムにわたって評価する。
忠実度はいくつかの実装で達成されたが、他の実装では大きな相違が見られた。
- 参考スコア(独自算出の注目度): 1.0602247913671219
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pseudorandom number generators (PRNGs) constitute indispensable computational tools across multiple scientific domains, including Monte Carlo simulations, stochastic computing, and artificial intelligence (AI). The reproducibility of such applications critically depends on the ability of PRNG implementations to generate identical sequences across software environments when initialized from the same internal state. These algorithms enable the simulation of stochastic processes while providing deterministic and repeatable behaviour, thereby facilitating reproducible experiments. Modern PRNG implementations may be initialized through either a seed or, more accurately, an initial state that exceeds the capacity of a conventional integer seed. However, reliance on a simple seed alone frequently proves insufficient to ensure consistent program execution traces across different implementations. A natural assumption is that transferring the complete internal state of a generator should guarantee identical outputs regardless of the software library used. This study examines the validity of this assumption by investigating whether complete initial states can ensure cross-library fidelity and portability of PRNG streams. We focus on two widely deployed generators, Mersenne Twister and Philox, and evaluate their implementations across four major Python ecosystems-Random, NumPy, PyTorch, and TensorFlow. We compare the sequences produced by these implementations against those generated by the original reference algorithms under identical initialization conditions. Our results demonstrate that reproducibility cannot be assumed from PRNG state transfer alone, even when implementations claim to follow the same underlying algorithm. While fidelity was successfully achieved for several implementations, significant discrepancies were observed in others. Most notably, the Philox implementation in PyTorch exhibits fundamental incompatibilities with the reference algorithm, preventing exact reproduction of generator outputs across environments. These findings challenge the common expectation that access to a full internal state of a PRNG is sufficient to ensure reproducibility across software stacks. They further highlight that implementation-specific design choices can introduce hidden barriers to experimental replication, particularly in AI workflows that rely on multiple frameworks. This work shows that implementation fidelity of a PRNG is a necessary condition for scientific reproducibility and makes two primary contributions. First, it identifies practical guidelines for achieving reliable PRNG usage and reproducibility within the Python scientific and AI ecosystem. Second, it evaluates the extent to which cross-library portability and fidelity can be recovered through user-level techniques, without requiring modifications to library source code.
- Abstract(参考訳): 擬似数生成器(PRNG)は、モンテカルロシミュレーション、確率計算、人工知能(AI)など、複数の科学領域で必要不可欠な計算ツールを構成する。
このようなアプリケーションの再現性は、PRNG実装が同じ内部状態から初期化されると、ソフトウェア環境全体で同じシーケンスを生成する能力に大きく依存する。
これらのアルゴリズムは、決定論的かつ繰り返し可能な振る舞いを提供しながら確率過程のシミュレーションを可能にし、再現可能な実験を容易にする。
現代のPRNG実装は、シードまたはより正確には、従来の整数シードの容量を超える初期状態を通じて初期化することができる。
しかし、単純なシードだけでは、異なる実装間で一貫したプログラム実行トレースを保証するには不十分であることがしばしば証明される。
自然な仮定は、ジェネレータの完全な内部状態の転送は、使用するソフトウェアライブラリに関係なく、同じ出力を保証するべきである、というものである。
本研究では,完全初期状態がPRNGストリームの相互信頼度と可搬性を確保することができるかどうかを検討することにより,この仮定の有効性を検討する。
広くデプロイされている2つのジェネレータであるMersenne TwisterとPhiloxに注目し、Random、NumPy、PyTorch、TensorFlowの4つの主要なPythonエコシステムで実装を評価します。
我々は、これらの実装によって生成されたシーケンスを、同じ初期化条件下で元の参照アルゴリズムによって生成されたシーケンスと比較する。
提案手法は, 実装が同一のアルゴリズムに従うと主張する場合でも, PRNG状態伝達のみから再現性を推定できないことを示す。
忠実度はいくつかの実装で達成されたが、他の実装では大きな相違が見られた。
最も注目すべきは、PyTorch の Philox の実装は、参照アルゴリズムと根本的な不整合を示し、環境全体にわたるジェネレータ出力の正確な再現を防止することである。
これらの発見は、PRNGの完全な内部状態へのアクセスは、ソフトウェアスタック間の再現性を確保するのに十分である、という一般的な期待に挑戦する。
さらに彼らは、特に複数のフレームワークに依存するAIワークフローにおいて、実装固有の設計選択が実験的なレプリケーションに隠れた障壁をもたらす可能性がある点を強調している。
本研究は,PRNGの実装忠実度が科学的再現性に必要な条件であることを示し,2つの主要な貢献をしている。
まず、Pythonの科学とAIエコシステム内で、信頼できるPRNG使用と再現性を達成するための実践的なガイドラインを特定します。
第2に、ライブラリのソースコードの変更を必要とせずに、ユーザレベルのテクニックによって、ライブラリ間のポータビリティと忠実性を回復できる範囲を評価する。
関連論文リスト
- Mitigating Bias in Locally Constrained Decoding via Tractable Proposals [73.78736135699953]
既存の局所的制約付き復号法は、ミオプティックに次のトークンを隠蔽することで制約を強制する。
最近の研究では、シーケンシャルなモンテカルロ法を用いてバイアスを緩和しているが、効果的な提案分布や潜在的な関数を設計することは重要な課題である。
我々は、$p_mathrmlm( cdot mid mathrmconstraint)$からSMCサンプリングのための提案とポテンシャルを構築するための一般的なアプローチを提案する。
論文 参考訳(メタデータ) (2026-06-01T08:58:18Z) - From I/O to Code with Discovery Agent [103.88427301265669]
IO2Codeの発見エージェントであるDIO-Agentを提案する。
本手法は,プログラム空間上の進化的探索としてIO2Codeをフレーム化する。
大規模な実験により、DIO-Agentは従来のプログラムバイサンプル法とSOTA進化エージェントベースラインの両方を一貫して上回っていることが示された。
論文 参考訳(メタデータ) (2026-05-14T18:57:32Z) - You Don't Need Public Tests to Generate Correct Code [0.9668407688201359]
大規模言語モデルには,有効な入力を自律的に構築し,自己補正のための実行フローをシミュレートする能力があることを示す。
我々は,LLMが反復的に計画し,独自のテスト入力を合成し,シミュレートされた実行を行うことで,地平データの必要性を解消するフレームワークであるDryRUNを紹介した。
論文 参考訳(メタデータ) (2026-04-23T12:21:03Z) - Taming Imperfect Process Verifiers: A Sampling Perspective on Backtracking [54.43083499412643]
言語モデルの生成能力をプロセス検証器と組み合わせたテストタイムアルゴリズムは、新しい推論能力を引き出すための有望なレバーを提供する。
提案手法は, 理論的に根拠付きバックトラックを用いて, 検証誤差に対して, 確実な堅牢性を実現するための新しいプロセス誘導型テスト時間サンプリングアルゴリズムであるVGBを導入する。
論文 参考訳(メタデータ) (2025-10-03T16:21:14Z) - Statistical Quality and Reproducibility of Pseudorandom Number Generators in Machine Learning technologies [0.0]
MLフレームワークで使用されるPRNGの統計的品質を、元のC実装と比較する。
我々の発見は統計的堅牢性の主張に挑戦し、'crush-resistant'(例えばPCG、フィロックス)とラベル付けされた発電機でさえ、ある統計検査に失敗する可能性があることを明らかにした。
論文 参考訳(メタデータ) (2025-07-02T09:38:00Z) - Scalable Best-of-N Selection for Large Language Models via Self-Certainty [75.1351701045874]
Best-of-N selectionは、Large Language Models(LLMs)の推論性能を改善するための重要なテクニックである。
本稿では, LLM出力の固有確率分布を利用して, 外部報酬モデルを必要としない応答品質を推定する, 新規で効率的な指標である自己確実性を提案する。
本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
論文 参考訳(メタデータ) (2025-02-25T19:08:07Z) - Continuous-Variable Source-Independent Quantum Random Number Generator with a Single Phase-Insensitive Detector [0.5439020425819]
量子乱数生成器(QRNG)は、真のランダム性を生成するために量子力学的不予測性を利用する。
単一位相非感受性検出器を用いたCV-SI-QRNG方式を提案し、半定値プログラミング(SDP)に基づくセキュリティ証明を提供する。
これらの結果は,本フレームワークの実現可能性を示し,実用的でシンプルなSI-QRNG実装への道を開いた。
論文 参考訳(メタデータ) (2024-11-22T09:26:53Z) - Efficient Quality Estimation of True Random Bit-streams [5.441027708840589]
本稿では,真のランダムビットストリームにおける異常検出のためのオンライン手順の実装とその特徴について報告する。
このアプローチの実験的検証は、量子シリコンベースのエントロピー源によって生成されたビットストリーム上で実行される。
論文 参考訳(メタデータ) (2024-09-09T12:09:17Z) - NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual
Question Answering [52.10214317661547]
現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。
プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。
本稿では,非自己回帰型プログラム生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-07T11:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。