論文の概要: RepDL: Bit-level Reproducible Deep Learning Training and Inference

• arxiv url: http://arxiv.org/abs/2510.09180v1
• Date: Fri, 10 Oct 2025 09:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:48.594585
• Title: RepDL: Bit-level Reproducible Deep Learning Training and Inference
• Title（参考訳）: RepDL:ビットレベルの再現可能なディープラーニングトレーニングと推論
• Authors: Peichen Xie, Xian Zhang, Shuo Chen,
• Abstract要約: RepDLは、決定論的かつビットワイズで再現可能なディープラーニングトレーニングと推論のためのオープンソースライブラリである。 RepDLは浮動小数点演算において正しい丸めと順序を強制する。
• 参考スコア（独自算出の注目度）: 5.850885896277139
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Non-determinism and non-reproducibility present significant challenges in deep learning, leading to inconsistent results across runs and platforms. These issues stem from two origins: random number generation and floating-point computation. While randomness can be controlled through deterministic configurations, floating-point inconsistencies remain largely unresolved. To address this, we introduce RepDL, an open-source library that ensures deterministic and bitwise-reproducible deep learning training and inference across diverse computing environments. RepDL achieves this by enforcing correct rounding and order invariance in floating-point computation. The source code is available at https://github.com/microsoft/RepDL .
• Abstract（参考訳）: 非決定論と非再現性は、ディープラーニングにおいて重大な課題を示し、実行時とプラットフォーム間で一貫性のない結果をもたらす。 これらの問題は乱数生成と浮動小数点計算という2つの起源に由来する。 ランダム性は決定論的構成によって制御できるが、浮動小数点不整合はほとんど未解決のままである。 これを解決するために、さまざまなコンピューティング環境における決定論的かつビットワイズで再現可能なディープラーニングトレーニングと推論を保証するオープンソースのライブラリRepDLを紹介します。 RepDLは、浮動小数点計算において正しいラウンドリングと順序不変性を強制することでこれを達成している。 ソースコードはhttps://github.com/microsoft/RepDLで入手できる。

関連論文リスト

• Discovering Software Parallelization Points Using Deep Neural Networks [1.5866931449827322]
  本研究では,並列化の可能性に応じて,プログラム中のループを発見するためのディープラーニングに基づくアプローチを提案する。 2つの遺伝的アルゴリズムに基づくコードジェネレータが開発され、2つの異なるタイプのコードを生成する。 2つのディープラーニングモデル、DNN(Deep Neural Network)とCNN(Convolutional Neural Network)が実装され、その分類が行われた。
  論文  参考訳（メタデータ） (2025-09-05T15:32:23Z)
• Give Me FP32 or Give Me Death? Challenges and Solutions for Reproducible Reasoning [54.970571745690634]
  本研究は,数値精度が大規模言語モデルの推論に与える影響について,最初の系統的研究を行った。 我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインであるLayerCastを開発した。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• On Stochastic Rounding with Few Random Bits [1.1510009152620668]
  丸めの望ましい性質を維持しながら、できるだけわずかなビットを必要とすることは興味深い。 本稿では,数ビットラウンドリング(FBSR)の実装の可能性について検討する。 これは、いくつかの自然な実装が、時としてラウンドングプロセスに重大なバイアスをもたらすことができることを示している。
  論文  参考訳（メタデータ） (2025-04-29T11:04:25Z)
• Revealing Floating-Point Accumulation Orders in Software/Hardware Implementations [8.44425601283977]
  総和や行列乗算などの累積演算は、多くの計算領域において基礎となる。 数値テストにより,ソフトウェアおよびハードウェア実装の蓄積順序を明らかにするための診断ツールであるFPRevを紹介する。
  論文  参考訳（メタデータ） (2024-11-01T08:26:44Z)
• Tractable Offline Learning of Regular Decision Processes [50.11277112628193]
  この研究は、正則決定過程(RDP)と呼ばれる非マルコフ環境のクラスにおけるオフライン強化学習(RL)を研究する。 インスは、未来の観測と過去の相互作用からの報酬の未知の依存を実験的に捉えることができる。 多くのアルゴリズムは、まずこの未知の依存関係を自動学習技術を用いて再構築する。
  論文  参考訳（メタデータ） (2024-09-04T14:26:58Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Pre-training of Deep RL Agents for Improved Learning under Domain Randomization [63.09932240840656]
  我々は、すでにランダム化に不変な埋め込み型を提供する知覚エンコーダの事前学習方法を示す。 本研究では、DeepMind制御スイートタスクのランダム化バージョンと、任意の背景上の積み重ね環境において、ゼロショットで物理ロボットに転送する結果を連続的に改善することを示す。
  論文  参考訳（メタデータ） (2021-04-29T14:54:11Z)
• Recurrent Multi-view Alignment Network for Unsupervised Surface Registration [79.72086524370819]
  非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。 我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。 また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
  論文  参考訳（メタデータ） (2020-11-24T14:22:42Z)
• Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing [34.69732430310801]
  本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。 BACCは計算複雑性が低い数値的に安定であることが証明されている。 特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2020-09-17T14:23:38Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。