論文の概要: NOVA: Discovering Well-Conditioned Winograd Transforms through Numerical Optimization of Vandermonde Arithmetic

• arxiv url: http://arxiv.org/abs/2512.18453v1
• Date: Sat, 20 Dec 2025 17:55:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.344411
• Title: NOVA: Discovering Well-Conditioned Winograd Transforms through Numerical Optimization of Vandermonde Arithmetic
• Title（参考訳）: NOVA: Vandermonde Arithmeticの数値最適化による良質なWinograd変換の発見
• Authors: Jayant Lohia,
• Abstract要約: ウィノグラードの畳み込みは効率的な推論のための標準的なアルゴリズムである。 低精度コンピューティングの現代において、数値不安定性という重要な障壁に直面している。 何十年にもわたって整数カッパパーセンテージの慣習を破る発見フレームワークであるNOVAを紹介します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Winograd convolution is the standard algorithm for efficient inference, reducing arithmetic complexity by 2.25x for 3x3 kernels. However, it faces a critical barrier in the modern era of low precision computing: numerical instability. As tiles scale to maximize efficiency (e.g., F(6,3), F(8,3)), the condition numbers of standard integer based transforms explode, reaching kappa = 2 x 10^5 for F(8,3), rendering them unusable in FP16 or Int8. We introduce NOVA (Numerical Optimization of Vandermonde Arithmetic), a discovery framework that breaks the decades old convention of integer interpolation. Treating Winograd point selection as a continuous optimization problem, NOVA searches the manifold R^n-1 via Evolution Strategy, snaps candidates to simple rationals, and guarantees correctness via symbolic verification. This process uncovers a hidden landscape of stable, fractional configurations such as {+-5/6, +-7/6, +-3/5} that defy traditional vocabulary constraints. The impact is transformative: NOVA improves the conditioning of F(8,3) by 415x in 1D, which squares to a 172,484x improvement for 2D convolution. In real world FP16 ImageNet inference, where standard transforms collapse to random chance (e.g., 4.7 percent accuracy on VGG16), NOVA's points restore full accuracy (75 to 78 percent), recovering over 70 percentage points without retraining, calibration, or learned parameters. These discovered transforms act as drop in replacements, effectively unlocking the efficiency of large tile Winograd convolution for next generation hardware.
• Abstract（参考訳）: ウィノグラード畳み込み(Winograd convolution)は、効率的な推論のための標準的なアルゴリズムであり、3x3カーネルの演算複雑性を2.25倍削減する。 しかし、これは最近の低精度コンピューティングにおける重要な障壁に直面している:数値的不安定性である。 タイルが効率を最大化するためにスケールする(例えば、F(6,3), F(8,3))と、標準整数型変換の条件数は爆発し、kappa = 2 x 10^5 for F(8,3)となり、FP16やInt8では使用できない。 NOVA(Numerical Optimization of Vandermonde Arithmetic)は、何十年にもわたる整数補間規則を破る発見フレームワークである。 ウィノグラード点選択を連続最適化問題として扱い、NOVAは進化戦略を通じて多様体 R^n-1 を探索し、候補を単純な有理数にスナップし、シンボリック検証によって正当性を保証する。 この過程は、伝統的な語彙制約に反する {+-5/6, +-7/6, +-3/5} のような安定で分数的な構成の隠れた風景を明らかにする。 NOVAはF(8,3)の条件を1Dで415倍改善し、2D畳み込みでは172,484倍に改善した。 実世界のFP16イメージネット推論では、標準変換がランダムな確率(例えばVGG16では4.7%の精度)に崩壊し、NOVAのポイントは完全な精度(75～78パーセント)を回復し、再トレーニング、校正、学習パラメータなしで70パーセント以上のポイントを回復する。 これらの発見された変換は代替品のドロップとして機能し、次世代ハードウェアに対する大きなタイル状ウィノグラードの畳み込みの効率を効果的に解放する。

関連論文リスト

• Orthogonal Finetuning Made Scalable [92.34573849209238]
  OFT(Orthogonal Finetuning)は、壊滅的な忘れ込みを防止しつつ、パラメータ効率の高い適応を提供するが、実行時とメモリの要求が高いため、実際のデプロイメントが制限される。 ここでは,OFTの計算ボトルネックを重み中心の実装とみなす。 本稿では,行列ベクトル乗法(行列フリー計算)を用いて,計算コストを2次に削減する入力中心の変換法OFTv2を提案する。 これらの変更により、OFTv2は最大10倍の高速トレーニングと3倍のGPUメモリ使用率を達成することができる。
  論文  参考訳（メタデータ） (2025-06-24T17:59:49Z)
• ConvBench: A Comprehensive Benchmark for 2D Convolution Primitive Evaluation [0.34952465649465553]
  本稿では,畳み込みアルゴリズムの評価と比較のためのプリミティブレベルのベンチマークであるConvBenchを提案する。 1097の現実世界のディープラーニングモデルから派生した9243の畳み込み操作を評価する。 実験の結果、93.6%の畳み込みでIm2col-GEMMよりも速い結果が得られた。
  論文  参考訳（メタデータ） (2024-07-15T13:58:24Z)
• KrADagrad: Kronecker Approximation-Domination Gradient Preconditioned Stochastic Optimization [69.47358238222586]
  第2の順序付けにより、パラメータのステップサイズと方向を変更でき、損失曲率に適応できる。 最近、シャンプーはこれらの要求を減らすためにクローネッカーファクター付きプレコンディショナーを導入した。 不条件行列の逆行列根を取る。 これは64ビットの精度が必要で、ハードウェアの制約が強い。
  論文  参考訳（メタデータ） (2023-05-30T21:15:45Z)
• An Improved Normed-Deformable Convolution for Crowd Counting [70.02434289611566]
  頭の中のCNN機能のスケール適応機能を活用するために、変形可能な畳み込みを提案する。 本論文では,改良されたノーマッド・デフォルマブル・コンボリューション(textiti.e.NDConv)を提案する。 本手法は,上海技術A,上海技術B,UCF_QNRF,UCF_CC_50データセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-06-16T10:56:26Z)
• Winograd Convolution for Deep Neural Networks: Efficient Point Selection [0.8043754868448141]
  本稿では,c に対する実数値数の全範囲を用いて,-1/c,-c,c,1/c の形の点を用いた点選択手法を提案する。 c の異なる値に対する誤差は、実値数の範囲にわたって粗い曲線を形成し、c の値のローカライズに役立ち、誤差を減少させる。 小型コンボリューションの規模について検討し, 2%から約59%の誤差を1Dおよび2Dの畳み込みに対して減少させる。
  論文  参考訳（メタデータ） (2022-01-25T15:00:54Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• Accelerating Large Kernel Convolutions with Nested Winograd Transformation.pdf [2.193040410545991]
  この研究は、大きなカーネルの畳み込みを小さなカーネルの畳み込みに繰り返し分解するネスト付きウィノグラードアルゴリズムを提案する。 実験により、線形分解ウィノグラード法と比較して、4x4から31x31の畳み込みを計算するために、提案アルゴリズムは乗算の総数を1.4倍から10.5倍に減らした。
  論文  参考訳（メタデータ） (2021-02-26T02:42:42Z)
• Efficient Residue Number System Based Winograd Convolution [15.210764522845416]
  Winogradアルゴリズムは、浮動小数点で表現される重みとアクティベーションを持つ畳み込みニューラルネットワーク(CNN)の計算複雑性を低減することができる。 我々の研究はWinogradアルゴリズムをResidue Number System (RNS)に拡張した。 最小の複雑性畳み込みは、大きな変換タイル上で正確に計算される。
  論文  参考訳（メタデータ） (2020-07-23T19:07:06Z)
• Region adaptive graph fourier transform for 3d point clouds [51.193111325231165]
  本稿では,3次元点雲特性の圧縮のための領域適応グラフフーリエ変換(RA-GFT)を提案する。 RA-GFTは従来の手法よりも複雑性と性能のトレードオフが優れている。
  論文  参考訳（メタデータ） (2020-03-04T02:47:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。