論文の概要: Squareplus: A Softplus-Like Algebraic Rectifier
- arxiv url: http://arxiv.org/abs/2112.11687v1
- Date: Wed, 22 Dec 2021 06:20:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-23 16:29:00.904597
- Title: Squareplus: A Softplus-Like Algebraic Rectifier
- Title(参考訳): Squareplus:ソフトプラスの代数整流器
- Authors: Jonathan T. Barron
- Abstract要約: 四角い黒字は、CPUのソフト黒字より6倍速く評価できる。
2乗余剰はCPU上のソフトプラスよりも6倍速く評価できるため、リソース制限のディープラーニングアプリケーションでは実用的価値がある可能性がある。
- 参考スコア(独自算出の注目度): 36.28582508398399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present squareplus, an activation function that resembles softplus, but
which can be computed using only algebraic operations: addition,
multiplication, and square-root. Because squareplus is ~6x faster to evaluate
than softplus on a CPU and does not require access to transcendental functions,
it may have practical value in resource-limited deep learning applications.
- Abstract(参考訳): これはsoftplusに似ているが、代数演算(加算、乗算、平方根)だけで計算できる活性化関数である。
平方プラスはCPU上のソフトプラスよりも6倍早く評価でき、超越関数へのアクセスを必要としないため、リソース制限のディープラーニングアプリケーションでは実用的価値がある。
関連論文リスト
- CoLA: Exploiting Compositional Structure for Automatic and Efficient
Numerical Linear Algebra [62.37017125812101]
機械学習における大規模線形代数問題に対して, CoLA という, 単純だが汎用的なフレームワークを提案する。
線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。
偏微分方程式,ガウス過程,同変モデル構築,教師なし学習など,幅広い応用で有効性を示す。
論文 参考訳(メタデータ) (2023-09-06T14:59:38Z) - WizardMath: Empowering Mathematical Reasoning for Large Language Models
via Reinforced Evol-Instruct [128.89645483139236]
本稿では,Llama-2の数学的推論能力を向上するWizardMathを提案する。
GSM8kではChatGPT-3.5, Claude Instant-1, PaLM-2, Minervaを上回り, 同時にMATHでは Text-davinci, PaLM-1, GPT-3 を上回ります。
論文 参考訳(メタデータ) (2023-08-18T14:23:21Z) - Abstract Visual Reasoning: An Algebraic Approach for Solving Raven's
Progressive Matrices [9.092255360641163]
抽象的推論に適した新しい推論フレームワークである代数的機械推論を導入する。
我々のフレームワークは、与えられた解集合から正しい解を選択でき、また与えられた質問行列のみで正しい解を生成することができる。
I-RAVENデータセットの実験では、全体的な9,3.2%の精度が得られ、現在の最先端の精度7,7.0%の精度を著しく上回り、8,4.4%の精度で人間のパフォーマンスを上回っている。
論文 参考訳(メタデータ) (2023-03-21T10:34:39Z) - Efficient Floating Point Arithmetic for Quantum Computers [1.189955933770711]
量子コンピューティングの大きな約束の1つは、重ね合わせ現象を用いたSIMD(単一命令 - 複数のデータ)演算の実現である。
我々は、符号なし整数量子回路を便利に生成できる半ブールと呼ばれる符号化形式を導入している。
我々は、このタイプの評価を、アンシラのないインプレース乗算や整数係数評価などの追加機能で拡張する。
論文 参考訳(メタデータ) (2021-12-20T14:00:36Z) - Fast Sketching of Polynomial Kernels of Polynomial Degree [61.83993156683605]
他のカーネルはしばしばテイラー級数展開を通じてカーネルによって近似されるので、カーネルは特に重要である。
スケッチの最近の技術は、カーネルの$q$という難解な程度に実行時間に依存することを減らしている。
我々は、この実行時間を大幅に改善する新しいスケッチを、先頭の注文項で$q$への依存を取り除くことで提供します。
論文 参考訳(メタデータ) (2021-08-21T02:14:55Z) - Generalized "Square roots of Not" matrices, their application to the unveiling of hidden logical operators and to the definition of fully matrix circular Euler functions [0.0]
Notの平方根は量子コンピューティング理論において重要な論理演算子である。
物理学では、次元 2 の平方複素行列である。
演算子の2つの平方根に対する一般表現がどのように得られるかを示す。
論文 参考訳(メタデータ) (2021-06-22T03:43:53Z) - Efficient ancilla-free reversible and quantum circuits for the Hidden
Weighted Bit function [7.140119152422295]
一般的には、隠れ重み付きビット関数は可逆アンシラ自由回路による実装において指数関数的に困難である。
我々はサイズ$O(n6.42)$の可逆アンシラフリー回路を開発し、$n$はビット数である。
また、この関数はサイズ$O(n2)$の量子アンシラ自由回路で計算可能であることを示す。
論文 参考訳(メタデータ) (2020-07-10T16:30:58Z) - Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。
最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。
ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文 参考訳(メタデータ) (2020-06-18T08:16:25Z) - Automatic Differentiation in ROOT [62.997667081978825]
数学と計算機代数において、自動微分 (AD) は、コンピュータプログラムによって指定された関数の微分を評価するための一連の技術である。
本稿では、任意のC/C++関数の導関数を生成するために、ClingがサポートするROOTで利用可能なAD技術を提案する。
論文 参考訳(メタデータ) (2020-04-09T09:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。