論文の概要: ReducedLUT: Table Decomposition with "Don't Care" Conditions

• arxiv url: http://arxiv.org/abs/2412.18579v2
• Date: Tue, 31 Dec 2024 14:01:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 14:33:16.690639
• Title: ReducedLUT: Table Decomposition with "Don't Care" Conditions
• Title（参考訳）: ReducedLUT: "Don't Care" 条件付きテーブル分解
• Authors: Oliver Cassidy, Marta Andronic, Samuel Coward, George A. Constantinides,
• Abstract要約: 本稿では,圧縮プロセスに不注意を注入することにより,LUTのフットプリントを削減する新しい方法であるReduceedLUTを紹介する。 ニューラルネットワークモデルのトレーニングデータ内の未観測パターンを気にせずに置き換えることで、モデルの精度を最小限に抑えることで、より大きな圧縮を可能にします。
• 参考スコア（独自算出の注目度）: 2.2061683015812026
• License:
• Abstract: Lookup tables (LUTs) are frequently used to efficiently store arrays of precomputed values for complex mathematical computations. When used in the context of neural networks, these functions exhibit a lack of recognizable patterns which presents an unusual challenge for conventional logic synthesis techniques. Several approaches are known to break down a single large lookup table into multiple smaller ones that can be recombined. Traditional methods, such as plain tabulation, piecewise linear approximation, and multipartite table methods, often yield inefficient hardware solutions when applied to LUT-based NNs. This paper introduces ReducedLUT, a novel method to reduce the footprint of the LUTs by injecting don't cares into the compression process. This additional freedom introduces more self-similarities which can be exploited using known decomposition techniques. We then demonstrate a particular application to machine learning; by replacing unobserved patterns within the training data of neural network models with don't cares, we enable greater compression with minimal model accuracy degradation. In practice, we achieve up to $1.63\times$ reduction in Physical LUT utilization, with a test accuracy drop of no more than $0.01$ accuracy points.
• Abstract（参考訳）: ルックアップテーブル(LUT)は、複雑な数学的計算のための事前計算された値の配列を効率的に格納するために頻繁に使用される。 ニューラルネットワークの文脈で使用すると、これらの関数は認識可能なパターンの欠如を示し、従来の論理合成技術では珍しい課題である。 いくつかのアプローチでは、1つの大きなルックアップテーブルを複数の小さなテーブルに分割して再結合できることが知られている。 平易な集計法、分数線形近似法、マルチパートテーブル法といった従来の手法は、LUTベースのNNに適用した場合、しばしば非効率なハードウェアソリューションをもたらす。 本稿では,圧縮プロセスに不注意を注入することにより,LUTのフットプリントを削減する新しい方法であるReduceedLUTを紹介する。 この追加自由は、既知の分解技術を用いて利用することができる、より自己相似性をもたらす。 ニューラルネットワークモデルのトレーニングデータ内の未観測パターンを気にせずに置き換えることで、モデルの精度を最小限に抑えることで、より大きな圧縮を可能にします。 実際には、最大で1.63\times$物理LUT使用率を下げることができ、テスト精度は0.01ドル以上の精度で低下する。

関連論文リスト

• CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
  コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:45:27Z)
• Improving Probabilistic Bisimulation for MDPs Using Machine Learning [0.0]
  本稿では,与えられたモデルの状態空間を確率的ビシミュレーションクラスに分割する新しい手法を提案する。 このアプローチは、最先端のツールと比較して、実行時間を著しく削減できる。
  論文  参考訳（メタデータ） (2023-07-30T12:58:12Z)
• Toward DNN of LUTs: Learning Efficient Image Restoration with Multiple Look-Up Tables [47.15181829317732]
  エッジデバイス上の高解像度スクリーンは、効率的な画像復元アルゴリズムに対する強い需要を刺激する。 単一のルックアップテーブルのサイズはインデックス化能力の増加とともに指数関数的に増加する。 本稿では,Mulutと呼ばれるニューラルネットワークのような複数のLUTを構築するための普遍的手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T16:00:33Z)
• Efficient Graph Laplacian Estimation by Proximal Newton [12.05527862797306]
  グラフ学習問題は、精度行列の最大極大推定(MLE)として定式化することができる。 いくつかのアルゴリズム的特徴を利用した効率的な解法を得るための2次手法を開発した。
  論文  参考訳（メタデータ） (2023-02-13T15:13:22Z)
• Neural Networks Reduction via Lumping [0.0]
  操作数とモデルに関連するパラメータの両方を減らすために、多数のソリューションが公開されている。 これらの還元技術の多くは実際には手法であり、通常、精度を回復するために少なくとも1つの再訓練ステップを必要とする。 データや微調整を使わずにネットワーク内のニューロン数を削減し,正確な動作を完全に保存するプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-09-15T17:13:07Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
  パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。 そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。 後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
  論文  参考訳（メタデータ） (2022-03-19T13:39:49Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Symplectic Adjoint Method for Exact Gradient of Neural ODE with Minimal Memory [7.1975923901054575]
  バックプロパゲーションアルゴリズムは、ネットワークサイズの使用回数に比例するメモリフットプリントを必要とする。 さもなくば、随伴法は最小限のメモリフットプリントで後向きの数値積分による勾配を得る。 本研究では,使用回数とネットワークサイズに比例する足跡の正確な勾配を求めるシンプレクティック随伴法を提案する。
  論文  参考訳（メタデータ） (2021-02-19T05:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。