論文の概要: EdgeLDR: Quaternion Low-Displacement Rank Neural Networks for Edge-Efficient Deep Learning
- arxiv url: http://arxiv.org/abs/2601.05379v1
- Date: Thu, 08 Jan 2026 21:04:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-12 17:41:49.773069
- Title: EdgeLDR: Quaternion Low-Displacement Rank Neural Networks for Edge-Efficient Deep Learning
- Title(参考訳): EdgeLDR:エッジ効率の良いディープラーニングのための4次低変位ランクニューラルネットワーク
- Authors: Vladimir Frants, Sos Agaian, Karen Panetta,
- Abstract要約: EdgeLDRは、四元数チャネルとブロック循環パラメータ構造を組み合わせた四元数ブロック循環型および畳み込み型層のためのフレームワークである。
本稿では、EdgeLDR層の参照実装と、FFTに基づく計算と、四元系循環生成物の自然な空間領域実現の比較を行う。
- 参考スコア(独自算出の注目度): 2.8496753993424817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying deep neural networks on edge devices is often limited by the memory traffic and compute cost of dense linear operators. While quaternion neural networks improve parameter efficiency by coupling multiple channels through Hamilton products, they typically retain unstructured dense weights; conversely, structured matrices enable fast computation but are usually applied in the real domain. This paper introduces EdgeLDR, a practical framework for quaternion block-circulant linear and convolutional layers that combines quaternion channel mixing with block-circulant parameter structure and enables FFT-based evaluation through the complex adjoint representation. We present reference implementations of EdgeLDR layers and compare FFT-based computation against a naive spatial-domain realization of quaternion circulant products. FFT evaluation yields large empirical speedups over the naive implementation and keeps latency stable as block size increases, making larger compression factors computationally viable. We further integrate EdgeLDR layers into compact CNN and Transformer backbones and evaluate accuracy-compression trade-offs on 32x32 RGB classification (CIFAR-10/100, SVHN) and hyperspectral image classification (Houston 2013, Pavia University), reporting parameter counts and CPU/GPU latency. The results show that EdgeLDR layers provide significant compression with competitive accuracy.
- Abstract(参考訳): エッジデバイスにディープニューラルネットワークをデプロイすることは、密度の高い線形演算子のメモリトラフィックと計算コストによって制限されることが多い。
四元数ニューラルネットワークはハミルトン生成物を介して複数のチャネルを結合することでパラメータ効率を向上させるが、通常は非構造密度の重みを保ち、逆に構造化行列は高速な計算を可能にするが、通常は実領域で適用される。
本稿では,四元系チャネル混合とブロック循環パラメータ構造を組み合わせた四元系ブロック循環型線形・畳み込み層のための実用的フレームワークであるEdgeLDRを紹介し,複素随伴表現によるFFTに基づく評価を実現する。
本稿では、EdgeLDR層の参照実装と、FFTに基づく計算と、四元系循環生成物の自然な空間領域実現の比較を行う。
FFT評価は、単純な実装よりも大きな経験的スピードアップをもたらし、ブロックサイズが大きくなるにつれてレイテンシを安定に保ち、より大きな圧縮係数を計算可能とする。
さらに、EdgeLDR層をコンパクトCNNとTransformerのバックボーンに統合し、32x32 RGB分類(CIFAR-10/100, SVHN)とハイパースペクトル画像分類(Houston 2013 Pavia University)の精度圧縮トレードオフを評価し、パラメータ数とCPU/GPUレイテンシを報告する。
その結果,EdgeLDR層は競合精度で大幅な圧縮を実現することがわかった。
関連論文リスト
- PAPER: Privacy-Preserving ResNet Models using Low-Degree Polynomial Approximations and Structural Optimizations on Leveled FHE [5.819818547073678]
最近の研究は、完全同型暗号化(FHE)を用いた深層畳み込みニューラルネットワーク(CNN)の実行により、非インタラクティブなプライバシ保護推論をより実用的なものにしている。
また、非線形アクティベーションの高次近似にも依存しており、これは平文のReLUモデルと比較して乗算深度を増大させ、精度を2-5%削減する。
本研究では、プライバシ保護推論において広く採用されているベンチマークアーキテクチャであるResNetsに注目し、FHE非インタラクティブモデルとそれに対応するモデルの精度ギャップを埋める。
論文 参考訳(メタデータ) (2025-09-26T19:10:23Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳(メタデータ) (2024-12-05T09:41:33Z) - LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。
提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。
提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
論文 参考訳(メタデータ) (2024-10-29T17:20:14Z) - NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。
本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。
提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
論文 参考訳(メタデータ) (2024-02-29T16:10:21Z) - Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。
この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文 参考訳(メタデータ) (2022-12-25T15:40:05Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2022-09-29T04:06:00Z) - Receptive Field-based Segmentation for Distributed CNN Inference
Acceleration in Collaborative Edge Computing [93.67044879636093]
協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。
我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
論文 参考訳(メタデータ) (2022-07-22T18:38:11Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳(メタデータ) (2021-08-28T20:39:54Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳(メタデータ) (2021-02-08T05:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。