論文の概要: High-Level Features Parallelization for Inference Cost Reduction Through Selective Attention

• arxiv url: http://arxiv.org/abs/2308.05128v1
• Date: Wed, 9 Aug 2023 08:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 14:48:57.016591
• Title: High-Level Features Parallelization for Inference Cost Reduction Through Selective Attention
• Title（参考訳）: 選択的注意による推論コスト削減のための高レベル特徴並列化
• Authors: Andr\'e Peter Kelm, Lucas Schmidt, Tim Rolff, Christian Wilms, Ehsan Yaghoubi, Simone Frintrop
• Abstract要約: ディープネットワークの高レベル機能を並列化して、クラス固有の機能を選択的にスキップまたは選択し、推論コストを削減する。 高い性能は維持されるが、推論のコストは大幅に削減できる。 これは、クロスモーダルアプリケーション、セマンティックな事前知識の使用、および/またはコンテキスト認識処理に関係がある。
• 参考スコア（独自算出の注目度）: 6.622327158385407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we parallelize high-level features in deep networks to selectively skip or select class-specific features to reduce inference costs. This challenges most deep learning methods due to their limited ability to efficiently and effectively focus on selected class-specific features without retraining. We propose a serial-parallel hybrid architecture with serial generic low-level features and parallel high-level features. This accounts for the fact that many high-level features are class-specific rather than generic, and has connections to recent neuroscientific findings that observe spatially and contextually separated neural activations in the human brain. Our approach provides the unique functionality of cutouts: selecting parts of the network to focus on only relevant subsets of classes without requiring retraining. High performance is maintained, but the cost of inference can be significantly reduced. In some of our examples, up to $75\,\%$ of parameters are skipped and $35\,\%$ fewer GMACs (Giga multiply-accumulate) operations are used as the approach adapts to a change in task complexity. This is important for mobile, industrial, and robotic applications where reducing the number of parameters, the computational complexity, and thus the power consumption can be paramount. Another unique functionality is that it allows processing to be directly influenced by enhancing or inhibiting high-level class-specific features, similar to the mechanism of selective attention in the human brain. This can be relevant for cross-modal applications, the use of semantic prior knowledge, and/or context-aware processing.
• Abstract（参考訳）: 本研究では,ディープネットワークの高レベル機能を並列化し,クラス固有の機能を選択的にスキップあるいは選択し,推論コストを削減する。 これは、再トレーニングせずに選択したクラス固有の機能に集中できる能力が限られているため、ほとんどのディープラーニングメソッドに挑戦している。 本稿では,直列汎用低レベル機能と並列高レベル機能を備えた並列並列ハイブリッドアーキテクチャを提案する。 これは、多くのハイレベルな特徴がジェネリックではなくクラス固有であり、人間の脳における空間的および文脈的に分離された神経活性化を観察する最近の神経科学的な発見と関連しているという事実である。 私たちのアプローチは、カットアウトのユニークな機能を提供します。ネットワークの一部を選択して、リトレーニングを必要とせずに、関連するクラスのサブセットのみにフォーカスします。 高性能は維持されるが、推論のコストは大幅に削減できる。 いくつかの例では、パラメータの最大75ドル、パラメータの最大$がスキップされ、アプローチがタスク複雑性の変化に適応するにつれて、35ドル、$がより少ないGMAC(Giga multiply-accumulate)操作が使用される。 これは、パラメータの数、計算の複雑さを減少させ、したがって電力消費を最重要視するモバイル、産業、ロボットアプリケーションにとって重要である。 もうひとつの特徴は、人間の脳における選択的注意のメカニズムと同様に、処理が高レベルなクラス固有の特徴の強化または抑制によって直接影響されることである。 これは、クロスモーダルアプリケーション、セマンティクス事前知識の使用、および/またはコンテキスト認識処理に関係します。

関連論文リスト

• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Select High-Level Features: Efficient Experts from a Hierarchical Classification Network [4.22580759425025]
  本研究では,予測性能を損なうことなく,タスクと計算の複雑さを動的に低減する新しいエキスパート生成手法を提案する。 これは、一般的な低レベル特徴の逐次処理と並列性と高レベルの特徴のネスト処理を組み合わせた、新しい階層型分類ネットワークトポロジーに基づいている。 動的推論の観点では、我々の方法論は最大88.7.%のパラメータと73.4.%のギガ乗算(GMAC)演算を除外することができる。
  論文  参考訳（メタデータ） (2024-03-08T00:02:42Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• On Excess Risk Convergence Rates of Neural Network Classifiers [8.329456268842227]
  本稿では,ニューラルネットワークを用いた2値分類におけるプラグイン分類器の性能を,その過大なリスクによって測定した。 ニューラルネットワークの推定と近似特性を分析し,次元自由で均一な収束率を求める。
  論文  参考訳（メタデータ） (2023-09-26T17:14:10Z)
• TOPIQ: A Top-down Approach from Semantics to Distortions for Image Quality Assessment [53.72721476803585]
  画像品質評価(IQA)は、ディープニューラルネットワークによる顕著な進歩を目の当たりにしたコンピュータビジョンの基本課題である。 本稿では,高レベルの意味論を用いてIQAネットワークを誘導し,意味的に重要な局所歪み領域に注目するトップダウンアプローチを提案する。 提案手法の重要な要素は,低レベル特徴に対するアテンションマップを算出した,クロススケールアテンション機構である。
  論文  参考訳（メタデータ） (2023-08-06T09:08:37Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Communication-Computation Efficient Device-Edge Co-Inference via AutoML [4.06604174802643]
  デバイスエッジのコ推論は、リソース制約のあるモバイルデバイスとエッジサーバの間のディープニューラルネットワークを分割する。 オンデバイスモデルスパーシリティレベルと中間特徴圧縮比は、ワークロードと通信オーバーヘッドに直接的な影響を与える。 深部強化学習(DRL)に基づく新しい自動機械学習(AutoML)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-30T06:36:30Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
  本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。 提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
  論文  参考訳（メタデータ） (2020-05-10T03:20:01Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。