論文の概要: EQ-Net: A Unified Deep Learning Framework for Log-Likelihood Ratio Estimation and Quantization

• arxiv url: http://arxiv.org/abs/2012.12843v1
• Date: Wed, 23 Dec 2020 18:11:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 21:02:33.949760
• Title: EQ-Net: A Unified Deep Learning Framework for Log-Likelihood Ratio Estimation and Quantization
• Title（参考訳）: EQ-Net: ログライクな比率推定と量子化のための統合ディープラーニングフレームワーク
• Authors: Marius Arvinte, Ahmed H. Tewfik, and Sriram Vishwanath
• Abstract要約: EQ-Netは,データ駆動手法を用いてログ類似度(LLR)推定と量子化の両課題を解決する,最初の包括的フレームワークである。 広範な実験評価を行い,両タスクにおいて単一アーキテクチャが最先端の成果を達成できることを実証する。
• 参考スコア（独自算出の注目度）: 25.484585922608193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we introduce EQ-Net: the first holistic framework that solves both the tasks of log-likelihood ratio (LLR) estimation and quantization using a data-driven method. We motivate our approach with theoretical insights on two practical estimation algorithms at the ends of the complexity spectrum and reveal a connection between the complexity of an algorithm and the information bottleneck method: simpler algorithms admit smaller bottlenecks when representing their solution. This motivates us to propose a two-stage algorithm that uses LLR compression as a pretext task for estimation and is focused on low-latency, high-performance implementations via deep neural networks. We carry out extensive experimental evaluation and demonstrate that our single architecture achieves state-of-the-art results on both tasks when compared to previous methods, with gains in quantization efficiency as high as $20\%$ and reduced estimation latency by up to $60\%$ when measured on general purpose and graphical processing units (GPU). In particular, our approach reduces the GPU inference latency by more than two times in several multiple-input multiple-output (MIMO) configurations. Finally, we demonstrate that our scheme is robust to distributional shifts and retains a significant part of its performance when evaluated on 5G channel models, as well as channel estimation errors.
• Abstract（参考訳）: 本研究では,ログ類似度(LLR)推定のタスクと,データ駆動方式による量子化を両立する最初の包括的フレームワークであるEQ-Netを紹介する。 複雑度スペクトルの終端における2つの実用的推定アルゴリズムに関する理論的知見を用いて、我々のアプローチを動機付け、アルゴリズムの複雑さと情報ボトルネック法との関係を明らかにする。 これにより、LLR圧縮をプレテキストタスクとして用いる2段階のアルゴリズムを提案し、ディープニューラルネットワークによる低レイテンシで高性能な実装に焦点を当てる。 我々は,従来の手法と比較して,我々の単一アーキテクチャが両タスクの最先端化を実現しており,汎用およびグラフィカル処理ユニット(GPU)で測定すると,最大20 %の量子化効率と推定遅延を最大60 %まで低減できることを示す。 特に,Multiple-Input multiple-output (MIMO) 構成では,GPUの推論遅延を2倍以上削減する。 最後に,提案手法は分布変化に対して頑健であり,5Gチャネルモデルおよびチャネル推定誤差で評価した場合,その性能のかなりの部分を保持することを示す。

関連論文リスト

• YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training [9.02251811867533]
  YOSO(You-Only-Sample-Once)は、予測精度を維持しながら効率的なトレーニングを実現するアルゴリズムである。 YOSOは、正規直交基底計算のような従来の圧縮センシング(CS)法で高価な計算を避けるだけでなく、高い確率精度の保持も保証している。
  論文  参考訳（メタデータ） (2024-11-08T16:47:51Z)
• Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
  本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。 我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。 提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
  論文  参考訳（メタデータ） (2024-06-20T15:25:13Z)
• Learning the hub graphical Lasso model with the structured sparsity via an efficient algorithm [1.0923877073891446]
  ハブグラフィカルモデルを推定する二相アルゴリズムを提案する。 提案アルゴリズムはまず,乗算器の2つの交互方向法を用いてよい初期点を生成する。 その後、半滑らかなニュートン(SSN)ベースの拡張ラグランジアン法(ALM)を温め、実用的なタスクに十分正確な解を計算する。
  論文  参考訳（メタデータ） (2023-08-17T08:24:28Z)
• A novel framework for Shot number minimization in Quantum Variational Algorithms [0.0]
  変分量子アルゴリズム(VQA)は、様々な量子コンピューティングアプリケーションに対する潜在的な解決策として注目されている。 量子デバイスにこれらのアルゴリズムを実装するには、かなりの数の測定を必要とすることが多い。 本稿では,VQAにおけるショット評価の削減を目的とした最適化アルゴリズムの一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-08T19:14:01Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• ParaFormer: Parallel Attention Transformer for Efficient Feature Matching [8.552303361149612]
  本稿ではParaFormerという新しい並列アテンションモデルを提案する。 振幅と位相という概念を通じて特徴とキーポイントの位置を融合させ、平行して自己と横断性を統合する。 ホモグラフィー推定、ポーズ推定、画像マッチングなど様々な応用実験により、ParaFormerが最先端の性能を達成することを示す。 効率のよいParaFormer-Uは、既存のアテンションベースモデルの50%未満のFLOPで同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-03-02T03:29:16Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)
• Temporal Attention-Augmented Graph Convolutional Network for Efficient Skeleton-Based Human Action Recognition [97.14064057840089]
  グラフネットワーク(GCN)はユークリッド以外のデータ構造をモデル化するのに非常に成功した。 ほとんどのGCNベースのアクション認識手法は、計算量の多いディープフィードフォワードネットワークを使用して、全てのスケルトンをアクションで処理する。 本稿では,骨格に基づく行動認識の効率を高めるための時間的アテンションモジュール(TAM)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T08:01:55Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。