論文の概要: Deep Lookup Network

• arxiv url: http://arxiv.org/abs/2509.13662v1
• Date: Wed, 17 Sep 2025 03:31:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.703611
• Title: Deep Lookup Network
• Title（参考訳）: ディープルックアップネットワーク
• Authors: Yulan Guo, Longguang Wang, Wendong Mao, Xiaoyu Dong, Yingqian Wang, Li Liu, Wei An,
• Abstract要約: 多くのリソース制限エッジデバイスでは、複雑な演算をルックアップテーブルを通じて計算し、計算コストを削減できる。 本稿では,ニューラルネットワーク構築の基本的な操作として使用できる汎用的で効率的な検索操作を提案する。 計算コストのかかる乗算演算をルックアップ演算に置き換えることで、画像分類、画像超解像、点クラウド分類タスクのためのルックアップネットワークを開発する。
• 参考スコア（独自算出の注目度）: 76.66809324649154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional neural networks are constructed with massive operations with different types and are highly computationally intensive. Among these operations, multiplication operation is higher in computational complexity and usually requires {more} energy consumption with longer inference time than other operations, which hinders the deployment of convolutional neural networks on mobile devices. In many resource-limited edge devices, complicated operations can be calculated via lookup tables to reduce computational cost. Motivated by this, in this paper, we introduce a generic and efficient lookup operation which can be used as a basic operation for the construction of neural networks. Instead of calculating the multiplication of weights and activation values, simple yet efficient lookup operations are adopted to compute their responses. To enable end-to-end optimization of the lookup operation, we construct the lookup tables in a differentiable manner and propose several training strategies to promote their convergence. By replacing computationally expensive multiplication operations with our lookup operations, we develop lookup networks for the image classification, image super-resolution, and point cloud classification tasks. It is demonstrated that our lookup networks can benefit from the lookup operations to achieve higher efficiency in terms of energy consumption and inference speed while maintaining competitive performance to vanilla convolutional networks. Extensive experiments show that our lookup networks produce state-of-the-art performance on different tasks (both classification and regression tasks) and different data types (both images and point clouds).
• Abstract（参考訳）: 畳み込みニューラルネットワークは、異なるタイプの大規模な演算で構築されており、非常に計算集約的である。 これらの演算のうち、乗算演算は計算複雑性がより高く、通常、他の演算よりも長い推論時間でより多くのエネルギー消費を必要とするため、モバイルデバイスへの畳み込みニューラルネットワークの展開を妨げている。 多くのリソース制限エッジデバイスでは、複雑な演算をルックアップテーブルを通じて計算し、計算コストを削減できる。 本稿では,ニューラルネットワーク構築の基本的な操作として使用できる汎用的で効率的なルックアップ操作を提案する。 重みとアクティベーション値の乗算を計算する代わりに、単純なルックアップ演算を用いて応答を計算する。 ルックアップ操作のエンドツーエンド最適化を実現するために,ルックアップテーブルを異なる方法で構築し,その収束を促進するためのいくつかのトレーニング戦略を提案する。 計算コストのかかる乗算演算をルックアップ演算に置き換えることで、画像分類、画像超解像、点クラウド分類タスクのためのルックアップネットワークを開発する。 その結果,我々のルックアップネットワークは,バニラ畳み込みネットワークとの競争性能を維持しつつ,エネルギー消費と推論速度の面で高い効率を達成することができることを示した。 大規模な実験により、我々のルックアップネットワークは、異なるタスク(分類タスクと回帰タスクの両方)と異なるデータタイプ(画像と点雲の両方)で最先端のパフォーマンスを生み出すことが示された。

関連論文リスト

• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Learning Discrete Weights and Activations Using the Local Reparameterization Trick [21.563618480463067]
  コンピュータビジョンと機械学習では、ニューラルネットワーク推論の計算とメモリ要求を減らすことが重要な課題である。 ネットワークの重みとアクティベーションをバイナライズすることで、計算の複雑さを大幅に減らすことができる。 これにより、低リソースデバイスにデプロイ可能な、より効率的なニューラルネットワーク推論が可能になる。
  論文  参考訳（メタデータ） (2023-07-04T12:27:10Z)
• Multiplication-Free Transformer Training via Piecewise Affine Operations [44.99157696237478]
  本稿では,浮動小数点数のビット表現を整数として加えることで実現した,安価なアフィン近似に置き換える。 変換器は、視覚と言語の両方のタスクに対して、結果の修正された行列乗法で、ほとんど、あるいは全く性能に影響を与えずに訓練できることが示される。
  論文  参考訳（メタデータ） (2023-05-26T18:28:28Z)
• The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
  我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。 提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
  論文  参考訳（メタデータ） (2022-07-18T15:07:13Z)
• How to Train Your Neural Network: A Comparative Evaluation [1.3654846342364304]
  大規模分散ディープラーニングのための最先端フレームワークについて論じ,比較する。 大規模画像と言語訓練における性能を比較した実験結果を示す。 この結果に基づいて,性能を阻害する各フレームワークのアルゴリズム的部分と実装的部分について議論する。
  論文  参考訳（メタデータ） (2021-11-09T04:24:42Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Multi Layer Neural Networks as Replacement for Pooling Operations [13.481518628796692]
  一方のパーセプトロンは,モデルの複雑さを増大させることなく,プール操作として有効に利用できることを示す。 テンソル畳み込みに対する我々のアプローチとストライドをプール操作として比較し、我々のアプローチが有効であり、複雑さを減少させることを示す。
  論文  参考訳（メタデータ） (2020-06-12T07:08:38Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。