論文の概要: Select High-Level Features: Efficient Experts from a Hierarchical Classification Network

• arxiv url: http://arxiv.org/abs/2403.05601v2
• Date: Wed, 20 Nov 2024 08:42:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:25.591445
• Title: Select High-Level Features: Efficient Experts from a Hierarchical Classification Network
• Title（参考訳）: 高レベル特徴の選択:階層型分類ネットワークの効率的なエキスパート
• Authors: André Kelm, Niels Hannemann, Bruno Heberle, Lucas Schmidt, Tim Rolff, Christian Wilms, Ehsan Yaghoubi, Simone Frintrop,
• Abstract要約: 本研究では,予測性能を損なうことなく,タスクと計算の複雑さを動的に低減する新しいエキスパート生成手法を提案する。 これは、一般的な低レベル特徴の逐次処理と並列性と高レベルの特徴のネスト処理を組み合わせた、新しい階層型分類ネットワークトポロジーに基づいている。 動的推論の観点では、我々の方法論は最大88.7.%のパラメータと73.4.%のギガ乗算(GMAC)演算を除外することができる。
• 参考スコア（独自算出の注目度）: 4.051316555028782
• License:
• Abstract: This study introduces a novel expert generation method that dynamically reduces task and computational complexity without compromising predictive performance. It is based on a new hierarchical classification network topology that combines sequential processing of generic low-level features with parallelism and nesting of high-level features. This structure allows for the innovative extraction technique: the ability to select only high-level features of task-relevant categories. In certain cases, it is possible to skip almost all unneeded high-level features, which can significantly reduce the inference cost and is highly beneficial in resource-constrained conditions. We believe this method paves the way for future network designs that are lightweight and adaptable, making them suitable for a wide range of applications, from compact edge devices to large-scale clouds. In terms of dynamic inference our methodology can achieve an exclusion of up to 88.7\,\% of parameters and 73.4\,\% fewer giga-multiply accumulate (GMAC) operations, analysis against comparative baselines showing an average reduction of 47.6\,\% in parameters and 5.8\,\% in GMACs across the cases we evaluated.
• Abstract（参考訳）: 本研究では,予測性能を損なうことなく,タスクと計算の複雑さを動的に低減する新しいエキスパート生成手法を提案する。 これは、一般的な低レベル特徴の逐次処理と並列性と高レベルの特徴のネスト処理を組み合わせた、新しい階層型分類ネットワークトポロジーに基づいている。 この構造は、タスク関連カテゴリの高レベル特徴のみを選択できる革新的な抽出技術を可能にする。 場合によっては、ほとんどすべての不要な高レベルの特徴をスキップすることは可能であり、推論コストを著しく削減し、資源制約条件において非常に有益である。 本手法は,小型エッジデバイスから大規模クラウドに至るまで,幅広いアプリケーションに適した軽量で適応可能な将来のネットワーク設計の道を開くものだと考えている。 動的推論では、パラメータの最大88.7\,\%と73.4\,\%のギガ多重蓄積(GMAC)演算を除外し、パラメータの47.6\,\%とGMACの5.8\,\%の平均的な減少を示す比較ベースラインの解析を行うことができる。

関連論文リスト

• High-Level Parallelism and Nested Features for Dynamic Inference Cost and Top-Down Attention [4.22580759425025]
  本稿では,動的推論コストとトップダウンアテンション機構をシームレスに統合する新しいネットワークトポロジーを提案する。 人間の知覚からインスピレーションを得るため、汎用的な低レベル特徴の逐次処理と並列性と高レベルの特徴のネスト処理を組み合わせる。 動的推論コストの面では、我々の方法論は最大7,3.48,%のパラメータと84.41,%のギガ乗算累積(GMAC)演算を除外することができる。
  論文  参考訳（メタデータ） (2023-08-09T08:49:29Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• SparCA: Sparse Compressed Agglomeration for Feature Extraction and Dimensionality Reduction [0.0]
  本稿では,新しい次元縮小法としてスパース圧縮凝集法(SparCA)を提案する。 SparCAは、幅広いデータタイプに適用でき、高度に解釈可能な機能を生成し、下流の教師あり学習タスクで魅力的なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-01-26T13:59:15Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• Discretization-Aware Architecture Search [81.35557425784026]
  本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2020-07-07T01:18:58Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。