論文の概要: NaN-Propagation: A Novel Method for Sparsity Detection in Black-Box Computational Functions

• arxiv url: http://arxiv.org/abs/2507.23186v1
• Date: Thu, 31 Jul 2025 01:48:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:08.925539
• Title: NaN-Propagation: A Novel Method for Sparsity Detection in Black-Box Computational Functions
• Title（参考訳）: NaNプロパゲーション:ブラックボックス計算関数におけるスパーシティ検出の新しい手法
• Authors: Peter Sharpe,
• Abstract要約: ブラックボックス関数のスパシティ検出により、勾配に基づく最適化において計算速度が大幅に向上する。 既存の有限差分法は、偶然のゼロ勾配による偽陰性に悩まされる。 IEEE 754 Not-a-Number浮動小数点値の普遍的な汚染特性を利用するNaNプロパゲーションを導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparsity detection in black-box functions enables significant computational speedups in gradient-based optimization through Jacobian compression, but existing finite-difference methods suffer from false negatives due to coincidental zero gradients. These false negatives can silently corrupt gradient calculations, leading to difficult-to-diagnose errors. We introduce NaN-propagation, which exploits the universal contamination property of IEEE 754 Not-a-Number floating-point values to trace input-output dependencies through floating-point numerical computations. By systematically contaminating inputs with NaN and observing which outputs become NaN, the method reconstructs conservative sparsity patterns that eliminate false negatives. We demonstrate the approach on an aerospace wing weight model, achieving a 1.52x speedup while detecting dozens of dependencies missed by conventional methods -- a significant improvement since gradient computation is the bottleneck in many optimization workflows. The technique leverages IEEE 754 compliance to work across programming languages and math libraries without modifying existing black-box codes. Advanced strategies including NaN payload encoding enable faster-than-linear time complexity, improving upon existing black-box sparsity detection methods. Practical algorithms are also proposed to mitigate challenges from branching code execution common in engineering applications.
• Abstract（参考訳）: ブラックボックス関数のスパーシリティ検出は、ジャコビアン圧縮による勾配に基づく最適化において、大きな計算スピードアップを可能にするが、既存の有限差分法は偶然のゼロ勾配による偽陰性に悩まされている。 これらの偽陰性は緩やかに勾配の計算を破損させ、診断が困難になる。 IEEE 754 Not-a-Number 浮動小数点値の普遍的な汚染特性を利用して、浮動小数点演算による入出力依存性をトレースするNaNプロパゲーションを導入する。 入力をNaNで体系的に汚染し、どの出力がNaNになるかを観察することにより、偽陰性を排除する保守的な空間パターンを再構築する。 航空機の翼重量モデルに対するアプローチを実証し、従来の手法では欠落していた数十の依存関係を検出しながら1.52倍のスピードアップを実現した。 この技術はIEEE 754準拠を活用し、既存のブラックボックスコードを変更することなく、プログラミング言語や数学ライブラリを横断して動作する。 NaNペイロードエンコーディングを含む高度な戦略により、より高速な線形時間複雑性が可能になり、既存のブラックボックスのスパーシリティ検出方法が改善された。 エンジニアリングアプリケーションで一般的なコード実行のブランチ化による課題を軽減するために、実用的なアルゴリズムも提案されている。

関連論文リスト

• Spectral-Refiner: Accurate Fine-Tuning of Spatiotemporal Fourier Neural Operator for Turbulent Flows [6.961408873053586]
  最近の演算子型ニューラルネットワークは、部分微分方程式(PDE)の近似に有望な結果を示している。 これらのニューラルネットワークは、かなりのトレーニング費用を要し、科学や工学の分野において要求される精度を常に達成するとは限らない。
  論文  参考訳（メタデータ） (2024-05-27T14:33:06Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Accelerating Neural Network Inference by Overflow Aware Quantization [16.673051600608535]
  ディープニューラルネットワークの重計算を継承することで、その広範な応用が防げる。 トレーニング可能な適応的不動点表現を設計し,オーバーフローを考慮した量子化手法を提案する。 提案手法により,量子化損失を最小限に抑え,最適化された推論性能を得ることができる。
  論文  参考訳（メタデータ） (2020-05-27T11:56:22Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。