論文の概要: High-Level Parallelism and Nested Features for Dynamic Inference Cost and Top-Down Attention

• arxiv url: http://arxiv.org/abs/2308.05128v2
• Date: Thu, 7 Mar 2024 16:03:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 18:06:32.932843
• Title: High-Level Parallelism and Nested Features for Dynamic Inference Cost and Top-Down Attention
• Title（参考訳）: 動的推論コストとトップダウン注意のための高レベル並列性とネスト特徴
• Authors: Andr\'e Peter Kelm, Niels Hannemann, Bruno Heberle, Lucas Schmidt, Tim Rolff, Christian Wilms, Ehsan Yaghoubi, Simone Frintrop
• Abstract要約: 本稿では,動的推論コストとトップダウンアテンション機構をシームレスに統合する新しいネットワークトポロジーを提案する。 人間の知覚からインスピレーションを得るため、汎用的な低レベル特徴の逐次処理と並列性と高レベルの特徴のネスト処理を組み合わせる。 動的推論コストの面では、我々の方法論は最大7,3.48,%のパラメータと84.41,%のギガ乗算累積(GMAC)演算を除外することができる。
• 参考スコア（独自算出の注目度）: 4.22580759425025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel network topology that seamlessly integrates dynamic inference cost with a top-down attention mechanism, addressing two significant gaps in traditional deep learning models. Drawing inspiration from human perception, we combine sequential processing of generic low-level features with parallelism and nesting of high-level features. This design not only reflects a finding from recent neuroscience research regarding - spatially and contextually distinct neural activations - in human cortex, but also introduces a novel "cutout" technique: the ability to selectively activate %segments of the network for task-relevant only network segments of task-relevant categories to optimize inference cost and eliminate the need for re-training. We believe this paves the way for future network designs that are lightweight and adaptable, making them suitable for a wide range of applications, from compact edge devices to large-scale clouds. Our proposed topology also comes with a built-in top-down attention mechanism, which allows processing to be directly influenced by either enhancing or inhibiting category-specific high-level features, drawing parallels to the selective attention mechanism observed in human cognition. Using targeted external signals, we experimentally enhanced predictions across all tested models. In terms of dynamic inference cost our methodology can achieve an exclusion of up to $73.48\,\%$ of parameters and $84.41\,\%$ fewer giga-multiply-accumulate (GMAC) operations, analysis against comparative baselines show an average reduction of $40\,\%$ in parameters and $8\,\%$ in GMACs across the cases we evaluated.
• Abstract（参考訳）: 本稿では,従来のディープラーニングモデルにおいて,動的推論コストとトップダウンアテンション機構をシームレスに統合する新たなネットワークトポロジを提案する。 人間の知覚からインスピレーションを得て,汎用低レベル特徴の逐次処理と並列処理,高レベル特徴の入れ子処理を組み合わせた。 このデザインは、人間の大脳皮質における、空間的および文脈的に異なる神経活性化に関する最近の神経科学の研究からの知見を反映しているだけでなく、新しい「カットアウト」技術も導入している:タスク関連カテゴリのネットワークセグメントのみに対して、ネットワークの%セグメントを選択的に活性化し、推論コストを最適化し、再トレーニングの必要性をなくす能力である。 これは、軽量で適応可能な将来のネットワーク設計の道を開くもので、コンパクトエッジデバイスから大規模クラウドまで、幅広いアプリケーションに適していると考えています。 提案するトポロジーにはトップダウンアテンション機構も組み込まれており,人間の認知で観察される選択的アテンション機構と並行して,カテゴリー特異的なハイレベルな特徴の強化や抑制によって直接処理に影響を与えることができる。 対象とする外部信号を用いて,テスト対象モデル全体の予測を実験的に拡張した。 動的推論コストの面では、我々の方法論は、パラメータの最大73.48\,\%$と84.41\,\%$より少ないギガ乗算累積(GMAC)演算を除外することができる。

関連論文リスト

• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Select High-Level Features: Efficient Experts from a Hierarchical Classification Network [4.051316555028782]
  本研究では,予測性能を損なうことなく,タスクと計算の複雑さを動的に低減する新しいエキスパート生成手法を提案する。 これは、一般的な低レベル特徴の逐次処理と並列性と高レベルの特徴のネスト処理を組み合わせた、新しい階層型分類ネットワークトポロジーに基づいている。 動的推論の観点では、我々の方法論は最大88.7.%のパラメータと73.4.%のギガ乗算(GMAC)演算を除外することができる。
  論文  参考訳（メタデータ） (2024-03-08T00:02:42Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• On Excess Risk Convergence Rates of Neural Network Classifiers [8.329456268842227]
  本稿では,ニューラルネットワークを用いた2値分類におけるプラグイン分類器の性能を,その過大なリスクによって測定した。 ニューラルネットワークの推定と近似特性を分析し,次元自由で均一な収束率を求める。
  論文  参考訳（メタデータ） (2023-09-26T17:14:10Z)
• TOPIQ: A Top-down Approach from Semantics to Distortions for Image Quality Assessment [53.72721476803585]
  画像品質評価(IQA)は、ディープニューラルネットワークによる顕著な進歩を目の当たりにしたコンピュータビジョンの基本課題である。 本稿では,高レベルの意味論を用いてIQAネットワークを誘導し,意味的に重要な局所歪み領域に注目するトップダウンアプローチを提案する。 提案手法の重要な要素は,低レベル特徴に対するアテンションマップを算出した,クロススケールアテンション機構である。
  論文  参考訳（メタデータ） (2023-08-06T09:08:37Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Communication-Computation Efficient Device-Edge Co-Inference via AutoML [4.06604174802643]
  デバイスエッジのコ推論は、リソース制約のあるモバイルデバイスとエッジサーバの間のディープニューラルネットワークを分割する。 オンデバイスモデルスパーシリティレベルと中間特徴圧縮比は、ワークロードと通信オーバーヘッドに直接的な影響を与える。 深部強化学習(DRL)に基づく新しい自動機械学習(AutoML)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-30T06:36:30Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
  本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。 提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
  論文  参考訳（メタデータ） (2020-05-10T03:20:01Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。