論文の概要: Receptive Field Expanded Look-Up Tables for Vision Inference: Advancing from Low-level to High-level Tasks
- arxiv url: http://arxiv.org/abs/2510.10522v1
- Date: Sun, 12 Oct 2025 09:44:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:29.988481
- Title: Receptive Field Expanded Look-Up Tables for Vision Inference: Advancing from Low-level to High-level Tasks
- Title(参考訳): 視覚推論のための受容場拡張ルックアップテーブル:低レベルから高レベルタスクへの拡張
- Authors: Xi Zhang, Xiaolin Wu,
- Abstract要約: 本研究の目的は,LUT駆動型高速CNN推論の性能を向上させることにある。
主な貢献は、データ次元間で量子化分解能を適応的に割り当てる最適格子ベクトル量子化器を学習する新しいアプローチである。
さらに,不規則な拡張畳み込みやU字型LUT構造などの受容野拡大戦略も導入した。
- 参考スコア(独自算出の注目度): 17.840575514075706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, several look-up table (LUT) methods were developed to greatly expedite the inference of CNNs in a classical strategy of trading space for speed. However, these LUT methods suffer from a common drawback of limited receptive field of the convolution kernels due to the combinatorial explosion of table size. This research aims to expand the CNN receptive field with a fixed table size, thereby enhancing the performance of LUT-driven fast CNN inference while maintaining the same space complexity. To achieve this goal, various techniques are proposed. The main contribution is a novel approach of learning an optimal lattice vector quantizer that adaptively allocates the quantization resolution across data dimensions based on their significance to the inference task. In addition, the lattice vector quantizer offers an inherently more accurate approximation of CNN kernels than scalar quantizer as used in current practice. Furthermore, we introduce other receptive field expansion strategies, including irregular dilated convolutions and a U-shaped cascaded LUT structure, designed to capture multi-level contextual information without inflating table size. Together, these innovations allow our approach to effectively balance speed, accuracy, and memory efficiency, demonstrating significant improvements over existing LUT methods.
- Abstract(参考訳): 近年,高速取引空間の古典的戦略において,CNNの推論を高速化するために,いくつかのルックアップテーブル(LUT)法が開発されている。
しかし、これらのLUT法は、テーブルサイズの組合せ的爆発により、畳み込みカーネルの受容野が制限されるという共通の欠点に悩まされている。
本研究の目的は、LUT駆動の高速CNN推論の性能を向上し、同じ空間の複雑さを維持しながら、CNN受容場を固定テーブルサイズで拡張することである。
この目的を達成するため,様々な手法が提案されている。
主な貢献は、最適な格子ベクトル量化器を学習し、推論タスクにおけるその重要性に基づいて、データ次元間で量子化の解決を適応的に割り当てる新しいアプローチである。
さらに、格子ベクトル量子化器は、現在使われているスカラー量子化器よりも本質的に正確なCNNカーネルの近似を提供する。
さらに、不規則な拡張畳み込みや、テーブルサイズを膨らませることなく多段階のコンテキスト情報をキャプチャするU字型カスケードLUT構造など、他の受容場拡大戦略も導入する。
これらのイノベーションによって、我々のアプローチはスピード、精度、メモリ効率を効果的にバランスさせ、既存のLUT手法よりも大幅に改善されたことを示すことができる。
関連論文リスト
- Layer-wise Quantization for Quantized Optimistic Dual Averaging [75.4148236967503]
我々は、訓練の過程で不均一性に適応し、厳密な分散とコード長境界を持つ一般的な層ワイド量子化フレームワークを開発する。
本稿では,適応学習率を持つ量子最適化双対平均化(QODA)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-05-20T13:53:58Z) - NeuraLUT-Assemble: Hardware-aware Assembling of Sub-Neural Networks for Efficient LUT Inference [2.7086888205833968]
ルックアップテーブル(LUT)を活用したNN(Efficient Neural Network)は、新興AIアプリケーションにおいて大きな可能性を示している。
既存のLUTベースの設計では、入力幅のLUTリソースの指数的スケーリングによって制限されたニューロンが要求するファンインが大きいため、精度が低下する。
我々は、これらの制限に対処する新しいフレームワークであるNeuraLUT-Assembleを紹介する。
論文 参考訳(メタデータ) (2025-04-01T09:52:38Z) - LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。
本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。
LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
論文 参考訳(メタデータ) (2024-07-13T16:09:45Z) - Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。
本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。
実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
論文 参考訳(メタデータ) (2024-06-09T05:57:40Z) - Cons-training Tensor Networks: Embedding and Optimization Over Discrete Linear Constraints [2.8834278113855896]
我々は,制約行列積状態(MPS)と呼ばれるテンソルネットワークの新たなファミリーを導入する。
MPSは、不等式を含む正確に任意の離散線型制約をスパースブロック構造に組み込む。
これらのネットワークは、特に、可能空間上で厳密にサポートされた分散をモデル化するために調整されている。
論文 参考訳(メタデータ) (2024-05-15T00:13:18Z) - Semi-orthogonal Embedding for Efficient Unsupervised Anomaly
Segmentation [6.135577623169028]
我々は,ロバスト近似のための半直交埋め込みに,ランダムな特徴選択というアドホックな手法を一般化する。
アブレーション研究の精査により,提案手法はMVTec AD, KolektorSDD, KolektorSDD2, mSTCデータセットに対して,新たな最先端技術を実現する。
論文 参考訳(メタデータ) (2021-05-31T07:02:20Z) - Partitioning sparse deep neural networks for scalable training and
inference [8.282177703075453]
最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。
スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。
その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
論文 参考訳(メタデータ) (2021-04-23T20:05:52Z) - A Variational Information Bottleneck Based Method to Compress Sequential
Networks for Human Action Recognition [9.414818018857316]
本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。
変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。
我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。
提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
論文 参考訳(メタデータ) (2020-10-03T12:41:51Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。