論文の概要: NaN-Propagation: A Novel Method for Sparsity Detection in Black-Box Computational Functions

• arxiv url: http://arxiv.org/abs/2507.23186v2
• Date: Fri, 01 Aug 2025 03:11:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 12:04:25.431033
• Title: NaN-Propagation: A Novel Method for Sparsity Detection in Black-Box Computational Functions
• Title（参考訳）: NaNプロパゲーション:ブラックボックス計算関数におけるスパーシティ検出の新しい手法
• Authors: Peter Sharpe,
• Abstract要約: NaNプロパゲーションは、IEEE 754 Not-a-Number値の普遍的な汚染特性を利用して、入出力依存をトレースする。 この手法を航空機の翼重量モデルで実証し、1.52倍のスピードアップを達成した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When numerically evaluating a function's gradient, sparsity detection can enable substantial computational speedups through Jacobian coloring and compression. However, sparsity detection techniques for black-box functions are limited, and existing finite-difference-based methods suffer from false negatives due to coincidental zero gradients. These false negatives can silently corrupt gradient calculations, leading to difficult-to-diagnose errors. We introduce NaN-propagation, which exploits the universal contamination property of IEEE 754 Not-a-Number values to trace input-output dependencies through floating-point numerical computations. By systematically contaminating inputs with NaN and observing which outputs become NaN, the method reconstructs conservative sparsity patterns that eliminate a major source of false negatives. We demonstrate this approach on an aerospace wing weight model, achieving a 1.52x speedup while uncovering dozens of dependencies missed by conventional methods -- a significant practical improvement since gradient computation is often the bottleneck in optimization workflows. The technique leverages IEEE 754 compliance to work across programming languages and math libraries without requiring modifications to existing black-box codes. Furthermore, advanced strategies such as NaN payload encoding via direct bit manipulation enable faster-than-linear time complexity, yielding speed improvements over existing black-box sparsity detection methods. Practical algorithms are also proposed to mitigate challenges from branching code execution common in engineering applications.
• Abstract（参考訳）: 関数の勾配を数値的に評価する場合、疎度検出はヤコビアンカラー化と圧縮による計算の大幅な高速化を可能にする。 しかし、ブラックボックス関数のスパーシリティ検出技術は限られており、既存の有限差分法は偶然のゼロ勾配による偽陰性に悩まされている。 これらの偽陰性は緩やかに勾配の計算を破損させ、診断が困難になる。 本稿では、IEEE 754 Not-a-Number値の普遍的な汚染特性を利用して、浮動小数点演算による入出力依存性をトレースするNaNプロパゲーションを提案する。 入力をNaNで体系的に汚染し、どの出力がNaNになるかを観察することにより、偽陰性の主源を排除した保守的な空間パターンを再構築する。 従来の手法では欠落していた数十の依存関係を探索しながら,1.52倍のスピードアップを実現した航空機の翼重量モデルに対して,このアプローチを実証する。 この技術はIEEE 754準拠を活用し、既存のブラックボックスコードの変更を必要とせずに、プログラミング言語や数学ライブラリを横断して動作する。 さらに、直接ビット操作によるNaNペイロード符号化のような高度な戦略は、より高速な線形時間複雑性を可能にし、既存のブラックボックス間隔検出法よりも高速な改善をもたらす。 エンジニアリングアプリケーションで一般的なコード実行のブランチ化による課題を軽減するために、実用的なアルゴリズムも提案されている。

関連論文リスト

• Spectral-Refiner: Accurate Fine-Tuning of Spatiotemporal Fourier Neural Operator for Turbulent Flows [6.961408873053586]
  最近の演算子型ニューラルネットワークは、部分微分方程式(PDE)の近似に有望な結果を示している。 これらのニューラルネットワークは、かなりのトレーニング費用を要し、科学や工学の分野において要求される精度を常に達成するとは限らない。
  論文  参考訳（メタデータ） (2024-05-27T14:33:06Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Accelerating Neural Network Inference by Overflow Aware Quantization [16.673051600608535]
  ディープニューラルネットワークの重計算を継承することで、その広範な応用が防げる。 トレーニング可能な適応的不動点表現を設計し,オーバーフローを考慮した量子化手法を提案する。 提案手法により,量子化損失を最小限に抑え,最適化された推論性能を得ることができる。
  論文  参考訳（メタデータ） (2020-05-27T11:56:22Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。