論文の概要: AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical
Functions
- arxiv url: http://arxiv.org/abs/2312.08472v1
- Date: Wed, 13 Dec 2023 19:17:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 02:59:37.585146
- Title: AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical
Functions
- Title（参考訳）: AutoNumerics-Zero: 最先端数学関数の自動発見
- Authors: Esteban Real, Yao Chen, Mirko Rossini, Connal de Souza, Manav Garg,
Akhil Verghese, Moritz Firsching, Quoc V. Le, Ekin Dogus Cubuk, David H. Park
- Abstract要約: コンピュータは、一般的なfloat32のような限られた精度のタイプで動作している。
限られた精度を目指していた場合、既存の近似法は単純な進化的アルゴリズムによってスクラッチから自動的に検出されたプログラムにより性能が向上することを示した。
- 参考スコア（独自算出の注目度）: 46.36204442052778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computers calculate transcendental functions by approximating them through
the composition of a few limited-precision instructions. For example, an
exponential can be calculated with a Taylor series. These approximation methods
were developed over the centuries by mathematicians, who emphasized the
attainability of arbitrary precision. Computers, however, operate on few
limited precision types, such as the popular float32. In this study, we show
that when aiming for limited precision, existing approximation methods can be
outperformed by programs automatically discovered from scratch by a simple
evolutionary algorithm. In particular, over real numbers, our method can
approximate the exponential function reaching orders of magnitude more
precision for a given number of operations when compared to previous
approaches. More practically, over float32 numbers and constrained to less than
1 ULP of error, the same method attains a speedup over baselines by generating
code that triggers better XLA/LLVM compilation paths. In other words, in both
cases, evolution searched a vast space of possible programs, without knowledge
of mathematics, to discover previously unknown optimized approximations to high
precision, for the first time. We also give evidence that these results extend
beyond the exponential. The ubiquity of transcendental functions suggests that
our method has the potential to reduce the cost of scientific computing
applications.
- Abstract（参考訳）: コンピュータは、いくつかの限定精度命令の合成を通じてそれらを近似することで超越関数を計算する。
例えば、指数関数はテイラー級数で計算できる。
これらの近似法は数世紀にわたって数学者によって開発され、任意の精度の達成性を強調した。
しかし、コンピュータは、人気のあるfloat32のような限られた精度のタイプでしか動作しない。
本研究では, 限られた精度を目標として, 既存の近似手法を, 単純な進化的アルゴリズムによって, スクラッチから自動的に検出されるプログラムに勝ることを示す。
特に実数上において、本手法は、与えられた演算数の精度が従来の手法に比べて桁違いに高い指数関数を近似することができる。
より現実的には、float32の数値を1ULP未満のエラーに制限し、同じメソッドは、より良いXLA/LLVMコンパイルパスをトリガーするコードを生成することによって、ベースラインを高速化する。
言い換えれば、どちらの場合も、進化は数学の知識のない膨大なプログラムの空間を探索し、これまで未知の最適化された近似を高い精度で初めて発見した。
また、これらの結果は指数を超えているという証拠を与える。
超越関数の普遍性から,本手法は科学計算のコストを低減できる可能性が示唆された。
関連論文リスト
- Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。
従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
論文 参考訳（メタデータ） (2024-03-09T09:04:53Z) - Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳（メタデータ） (2023-10-18T10:29:58Z) - Linearized Wasserstein dimensionality reduction with approximation
guarantees [65.16758672591365]
LOT Wassmap は、ワーッサーシュタイン空間の低次元構造を明らかにするための計算可能なアルゴリズムである。
我々は,LOT Wassmapが正しい埋め込みを実現し,サンプルサイズの増加とともに品質が向上することを示す。
また、LOT Wassmapがペア距離計算に依存するアルゴリズムと比較して計算コストを大幅に削減することを示す。
論文 参考訳（メタデータ） (2023-02-14T22:12:16Z) - Accelerated Nonnegative Tensor Completion via Integer Programming [7.3149416054553065]
整数計画法に基づく非負のテンソル完備化へのアプローチを提案する。
我々はアルゴリズムと同じ理論的な保証を維持できるいくつかの変種を探索するが、潜在的に高速な計算を提供する。
論文 参考訳（メタデータ） (2022-11-28T21:00:25Z) - Refining neural network predictions using background knowledge [68.35246878394702]
学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。
そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。
このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
論文 参考訳（メタデータ） (2022-06-10T10:17:59Z) - On efficient algorithms for computing near-best polynomial
approximations to high-dimensional, Hilbert-valued functions from limited
samples [1.0650780147044159]
スパース近似は、限られたサンプルから滑らかで高次元の関数を近似するのに欠かせないものとなっている。
本稿では,指数的あるいは代数的収束率を主張するアルゴリズムと理論的保証と,サンプリング,アルゴリズム的,物理的離散化誤差に対する頑健性を紹介する。
論文 参考訳（メタデータ） (2022-03-25T20:56:07Z) - Efficient Floating Point Arithmetic for Quantum Computers [1.189955933770711]
量子コンピューティングの大きな約束の1つは、重ね合わせ現象を用いたSIMD(単一命令 - 複数のデータ)演算の実現である。
我々は、符号なし整数量子回路を便利に生成できる半ブールと呼ばれる符号化形式を導入している。
我々は、このタイプの評価を、アンシラのないインプレース乗算や整数係数評価などの追加機能で拡張する。
論文 参考訳（メタデータ） (2021-12-20T14:00:36Z) - Efficient Evaluation of Exponential and Gaussian Functions on a Quantum
Computer [0.0]
量子コンピュータ上で指数関数とガウス関数を効率的に評価するアルゴリズムを提案する。
具体的で現実的なNISQ応用の場合、指数関数のトフォリ数は15,690から912に減少する。
上記の NISQ アプリケーションが 71 個の論理量子ビットで実装可能である限り、空間要求もかなり控えめである。
論文 参考訳（メタデータ） (2021-10-12T00:06:51Z) - Second-order Neural Network Training Using Complex-step Directional
Derivative [41.4333906662624]
本稿では,2次ニューラルネットワークトレーニングのための数値アルゴリズムを提案する。
複素ステップ有限差分を用いてヘッセン計算の実践的障害に取り組む。
提案手法は,ディープラーニングと数値最適化のための新しいアルゴリズムを広範囲に導入すると考えられる。
論文 参考訳（メタデータ） (2020-09-15T13:46:57Z) - Refined bounds for algorithm configuration: The knife-edge of dual class
approximability [94.83809668933021]
トレーニングセットが、トレーニングセット上でのパラメータの平均メトリックのパフォーマンスが、予想される将来的なパフォーマンスに最も近いことを保証するために、どの程度の規模が必要かを調査する。
この近似が L-無限ノルムの下で成り立つなら、強いサンプル複雑性境界を与えることができる。
我々は、コンピュータ科学において最も強力なツールの一つである整数プログラミングの文脈において、我々の限界を実証的に評価する。
論文 参考訳（メタデータ） (2020-06-21T15:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。