論文の概要: Efficient Non-linear Calculators

• arxiv url: http://arxiv.org/abs/2109.12686v1
• Date: Sun, 26 Sep 2021 19:52:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:10:33.803192
• Title: Efficient Non-linear Calculators
• Title（参考訳）: 効率的な非線形計算機
• Authors: Adedamola Wuraola, Nitish Patel
• Abstract要約: ディジタルハードウェア上でスムーズな非線形性を生成するための新しいアルゴリズムを提案する。 整数(および固定点)の実装はASICまたはFPGA上のデジタルゲートでの使用に非常に適している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A novel algorithm for producing smooth nonlinearities on digital hardware is presented. The non-linearities are inherently quadratic and have both symmetrical and asymmetrical variants. The integer (and fixed point) implementation is highly amenable for use with digital gates on an ASIC or FPGA. The implementations are multiplier-less. Scaling of the non-linear output, as required in an LSTM cell, is integrated into the implementation. This too does not require a multiplier. The non-linearities are useful as activation functions in a variety of ANN architectures. The floating point mappings have been compared with other non-linearities and have been benchmarked. Results show that these functions should be considered in the ANN design phase. The hardware resource usage of the implementations have been thoroughly investigated. Our results make a strong case for implementions in edge applications. This document summarizes the findings and serves to give a quick overview of the outcomes of our research\footnote{The authors peer-reviewed manuscripts (available at https://doi.org/10.1016/j.neucom.2021.02.030) offer more detail and may be better suited for a thorough consideration}.
• Abstract（参考訳）: ディジタルハードウェア上でスムーズな非線形性を生成する新しいアルゴリズムを提案する。 非線形性は本質的に二次的であり、対称型と非対称型の両方を持つ。 整数(および固定点)の実装はASICまたはFPGA上のデジタルゲートでの使用に非常に適している。 実装はマルチプライアレスである。 LSTMセルで必要となる非線形出力のスケーリングが実装に統合される。 これもまた乗算を必要としない。 非線形性は様々なANNアーキテクチャの活性化機能として有用である。 浮動小数点写像は他の非線形と比較され、ベンチマークされている。 その結果,これらの機能はANN設計段階で考慮すべきであることが示唆された。 実装のハードウェアリソースの使用状況は徹底的に調査されている。 我々の結果は、エッジアプリケーションにおける実装を強く主張する。 本資料は,本研究の結果の概要を要約し,著者による査読付き原稿(https://doi.org/10.1016/j.neucom.2021.02.030)について概説する。

関連論文リスト

• CLAP: Concave Linear APproximation for Quadratic Graph Matching [5.417323487240968]
  線形モデルを導入し、グラフマッチングのための新しい近似行列を設計する。 次に、元のQAPを構造制約の凹凸となる線形モデルに変換する。 このモデルはシンクホーン最適輸送アルゴリズムを用いて解くことができる。
  論文  参考訳（メタデータ） (2024-10-22T15:28:18Z)
• Laplacian Canonization: A Minimalist Approach to Sign and Basis Invariant Spectral Embedding [36.61907023057978]
  スペクトル埋め込みは強力なグラフ計算手法であり、グラフトランスフォーマーの有効性から最近多くの注目を集めている。 従来の手法は、新しい不変量を学び、高い複雑さに苦しむために、コストのかかるアプローチを開発した。 本研究では,固有ベクトルの正準方向を直接求めることにより,あいまいさを解消する最小限のアプローチを検討する。
  論文  参考訳（メタデータ） (2023-10-28T14:35:10Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Practice with Graph-based ANN Algorithms on Sparse Data: Chi-square Two-tower model, HNSW, Sign Cauchy Projections [17.542394573133777]
  グラフベースのANNアルゴリズムを用いてスパースデータの効率的な探索を探索する。 広告ターゲティングでは、標準のコサイン2-tower'モデルで埋め込みを訓練する。 また,Chi-square two-tower' モデルも開発している。
  論文  参考訳（メタデータ） (2023-06-13T08:05:30Z)
• Theseus: A Library for Differentiable Nonlinear Optimization [21.993680737841476]
  Theseusは、PyTorch上に構築された微分可能な非線形最小二乗(DNLS)最適化のための効率的なアプリケーション依存ライブラリである。 Theseusは、ロボット工学とビジョンにおけるエンドツーエンドの構造化学習のための共通のフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-07-19T17:57:40Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Implicit SVD for Graph Representation Learning [33.761179632722]
  控えめなハードウェアを持つ人には、グラフ表現学習をより計算的に学習しやすいものにします。 我々はSOTAモデルの線形近似を導出し、入出力を計算せずに$mathbfM$のSVDを介して閉形式でモデルを訓練する。 我々のモデルは、様々なグラフ上での競合実証試験性能を示す。
  論文  参考訳（メタデータ） (2021-11-11T16:58:17Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• WICA: nonlinear weighted ICA [72.02008296553318]
  独立成分分析(ICA)は、データのコンポーネントが独立している座標系を見つけることを目的としている。 我々は、WICAと呼ばれる新しい非線形ICAモデルを構築し、他のアルゴリズムよりも優れた、より安定した結果を得る。
  論文  参考訳（メタデータ） (2020-01-13T10:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。