論文の概要: Generalized Orders of Magnitude for Scalable, Parallel, High-Dynamic-Range Computation

• arxiv url: http://arxiv.org/abs/2510.03426v1
• Date: Fri, 03 Oct 2025 18:38:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.037694
• Title: Generalized Orders of Magnitude for Scalable, Parallel, High-Dynamic-Range Computation
• Title（参考訳）: 拡張性,並列性,高ダイナミックレンジ計算のための一般化されたマグニチュード次数
• Authors: Franz A. Heinsen, Leo Kozachkov,
• Abstract要約: ディープラーニングからファイナンスまで、多くのドメインは、長いシーケンスで実数を合成する必要がある。 我々は、浮動小数点数を特別なケースとして組み込んだ従来の等級の等級を原則的に拡張した一般化等級数(GOOMs)を導入する。 我々は、GPUなどの並列ハードウェア上でのネイティブ実行をサポートするために、GOOMと効率的なカスタムパラレルプレフィックススキャンを実装している。
• 参考スコア（独自算出の注目度）: 1.7188280334580195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many domains, from deep learning to finance, require compounding real numbers over long sequences, often leading to catastrophic numerical underflow or overflow. We introduce generalized orders of magnitude (GOOMs), a principled extension of traditional orders of magnitude that incorporates floating-point numbers as a special case, and which in practice enables stable computation over significantly larger dynamic ranges of real numbers than previously possible. We implement GOOMs, along with an efficient custom parallel prefix scan, to support native execution on parallel hardware such as GPUs. We demonstrate that our implementation of GOOMs outperforms traditional approaches with three representative experiments, all of which were previously considered impractical or impossible, and now become possible and practical: (1) compounding real matrix products far beyond standard floating-point limits; (2) estimating spectra of Lyapunov exponents in parallel, orders of magnitude faster than with previous methods, applying a novel selective-resetting method to prevent state colinearity; and (3) capturing long-range dependencies in deep recurrent neural networks with non-diagonal recurrent states, computed in parallel via a prefix scan, without requiring any form of stabilization. Our results show that our implementation of GOOMs, combined with efficient parallel scanning, offers a scalable and numerically robust alternative to conventional floating-point numbers for high-dynamic-range applications.
• Abstract（参考訳）: ディープラーニングからファイナンスまで、多くのドメインは、長いシーケンスで実数を合成する必要がある。 我々は、浮動小数点数を特別なケースとして取り入れた従来の等級の原理的拡張である一般化等級数(GOOMs)を導入し、実際は、より大きな実数のダイナミックレンジでの安定した計算を可能にする。 我々は、GPUなどの並列ハードウェア上でのネイティブ実行をサポートするために、GOOMと効率的なカスタムパラレルプレフィックススキャンを実装している。 我々は,(1)標準浮動小数点限界を超えて実行列積を合成すること,(2)リアプノフ指数のスペクトルを並列に推定すること,(2)新しい選択的リセット法を適用して状態コリニア性を防止すること,(3)非対角的リカレント状態を持つディープ・リカレントニューラルネットワークにおける長距離依存性をプレフィックススキャンで計算すること,である。 この結果から,高速並列走査と組み合わせたGOOMの実装は,従来の浮動小数点数に代わるスケーラブルで数値的に堅牢であることがわかった。

関連論文リスト

• Solving quantum-inspired dynamics on quantum and classical annealers [0.0]
  量子コンピュータと古典コンピュータの両方に挑戦するために,物理力学にインスパイアされたベンチマークスイートを提案する。 我々は、$n$-qubitのリアルタイムなプロパゲータ、おそらく非エルミート的ハミルトニアンを二次非制約二進最適化問題に変換する。 結果のQUBOインスタンスは、D-Wave量子アニーラーと、Simulated AnnealingとVeloxQという2つの古典的な解決器で実行される。
  論文  参考訳（メタデータ） (2025-09-04T07:27:11Z)
• Scaling Generative Recommendations with Context Parallelism on Hierarchical Sequential Transducers [29.05624030090006]
  本稿では,HSTUアテンションに対するジャグテンソルサポートによるコンテキスト並列化を導入し,シーケンス次元のスケールアップのための基礎的機能を確立する。 提案手法により,分散データ並列処理(DDP)と組み合わせることで,ユーザインタラクションのシーケンス長が5.3倍向上し,スケーリング係数が1.55倍になる。
  論文  参考訳（メタデータ） (2025-07-23T07:28:05Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Parallel Simulation for Log-concave Sampling and Score-based Diffusion Models [55.07411490538404]
  本稿では,次元$d$の適応的複雑性依存性を改善する並列サンプリング手法を提案する。 我々の手法は科学計算による並列シミュレーション技術に基づいている。
  論文  参考訳（メタデータ） (2024-12-10T11:50:46Z)
• Parallelized Spatiotemporal Binding [47.67393266882402]
  逐次入力のための最初の時間並列化可能なスロット学習アーキテクチャであるPSB(Parallelizable Spatiotemporal Binder)を導入する。 従来のRNNベースのアプローチとは異なり、PSBは全ての時間ステップを並列に、スロットとして知られるオブジェクト中心の表現を生成する。 現状と比較して、我々のアーキテクチャはより長いシーケンスで安定したトレーニングを行い、トレーニング速度が60%向上する並列化を実現し、教師なしの2Dおよび3Dオブジェクト中心のシーン分解と理解に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2024-02-26T23:16:34Z)
• A Dynamical System View of Langevin-Based Non-Convex Sampling [44.002384711340966]
  非サンプリングは機械学習における重要な課題であり、ディープラーニングにおける非レート最適化の中心であり、その重要性を近似する。 既存の保証は通常、より望ましい最終段階の反復よりも平均距離のみを保持する。 我々は、理論システムからいくつかのツールを活用することにより、上記の問題を解消する新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-25T09:43:36Z)
• Efficient Alternating Least Squares Algorithms for Low Multilinear Rank Approximation of Tensors [6.308492837096872]
  テンソルの低次階数近似を効率的に計算するための最小二乗(ALS)に基づく新しいクラスHOSVDアルゴリズムを提案する。 ALSに基づくアプローチは、中間行列の特異ベクトルの冗長な計算を排除し、したがってデータの爆発をなくすことができる。 合成および実世界の双方の大規模テンソルを用いた数値実験により、ALSベースの手法が原材料全体のコストを大幅に削減し、並列計算に非常にスケーラブルであることを示す。
  論文  参考訳（メタデータ） (2020-04-06T11:58:04Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。