論文の概要: PERTINENCE: Input-based Opportunistic Neural Network Dynamic Execution
- arxiv url: http://arxiv.org/abs/2507.01695v1
- Date: Wed, 02 Jul 2025 13:22:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-03 14:23:00.254774
- Title: PERTINENCE: Input-based Opportunistic Neural Network Dynamic Execution
- Title（参考訳）: PERTINENCE:入力型オポチュニスティックニューラルネットワーク動的実行
- Authors: Omkar Shende, Gayathri Ananthanarayanan, Marcello Traiola,
- Abstract要約: PERTINENCEは入力機能の複雑さを分析するために設計された新しいオンライン手法である。
与えられた入力を処理するために、トレーニング済みのセットから最も適切なモデルを動的に選択する。
最大36%の演算で、より良く、または同等の精度を達成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural networks (DNNs) have become ubiquitous thanks to their remarkable ability to model complex patterns across various domains such as computer vision, speech recognition, robotics, etc. While large DNN models are often more accurate than simpler, lightweight models, they are also resource- and energy-hungry. Hence, it is imperative to design methods to reduce reliance on such large models without significant degradation in output accuracy. The high computational cost of these models is often necessary only for a reduced set of challenging inputs, while lighter models can handle most simple ones. Thus, carefully combining properties of existing DNN models in a dynamic, input-based way opens opportunities to improve efficiency without impacting accuracy. In this work, we introduce PERTINENCE, a novel online method designed to analyze the complexity of input features and dynamically select the most suitable model from a pre-trained set to process a given input effectively. To achieve this, we employ a genetic algorithm to explore the training space of an ML-based input dispatcher, enabling convergence towards the Pareto front in the solution space that balances overall accuracy and computational efficiency. We showcase our approach on state-of-the-art Convolutional Neural Networks (CNNs) trained on the CIFAR-10 and CIFAR-100, as well as Vision Transformers (ViTs) trained on TinyImageNet dataset. We report results showing PERTINENCE's ability to provide alternative solutions to existing state-of-the-art models in terms of trade-offs between accuracy and number of operations. By opportunistically selecting among models trained for the same task, PERTINENCE achieves better or comparable accuracy with up to 36% fewer operations.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、コンピュータビジョン、音声認識、ロボット工学など、さまざまな領域にまたがる複雑なパターンをモデル化する優れた能力によって、ユビキタスになった。
大規模なDNNモデルは、単純で軽量なモデルよりも正確であることが多いが、リソースとエネルギーの不足もある。
したがって、出力精度を著しく低下させることなく、そのような大規模モデルへの依存を減らす方法の設計が不可欠である。
これらのモデルの高い計算コストは、より軽量なモデルがほとんどの単純なモデルを扱うのに対して、難解な入力の少ないセットに対してのみ必要であることが多い。
したがって、既存のDNNモデルの特性を動的に組み合わせることで、精度に影響を与えることなく効率を向上させる機会を開放する。
本研究では,入力特徴の複雑さを分析し,与えられた入力を効果的に処理するために,事前学習した集合から最も適切なモデルを動的に選択する新しいオンライン手法であるPERTINENCEを紹介する。
これを実現するために遺伝的アルゴリズムを用いてMLベースの入力ディスパッチのトレーニング空間を探索し、全体の精度と計算効率のバランスをとる解空間におけるParetoフロントへの収束を可能にする。
我々は、CIFAR-10とCIFAR-100でトレーニングされた最先端の畳み込みニューラルネットワーク(CNN)と、TinyImageNetデータセットでトレーニングされたビジョントランスフォーマー(ViT)について紹介する。
我々は,PERTINENCEが既存の最先端モデルに対して,精度と操作数とのトレードオフの観点から代替ソリューションを提供する能力を示した結果を報告する。
同じタスクのためにトレーニングされたモデルの中から機会的に選択することで、PERTINENCEは最大36%の操作で、より良いまたは同等の精度を達成できる。
関連論文リスト
- ALWNN Empowered Automatic Modulation Classification: Conquering Complexity and Scarce Sample Conditions [24.59462798452397]
本稿では、適応軽量ウェーブレットニューラルネットワーク(ALWNN)とマルチショットフレームワーク(MALWNN)に基づく自動変調分類モデルを提案する。
ALWNNモデルは適応ウェーブレットニューラルネットワークと深度分離可能な畳み込みを統合することで、モデルパラメータの数と計算複雑性を低減する。
MALWNNの実験では、他のアルゴリズムと比較して、数ショットの学習シナリオでは優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2025-03-24T06:14:33Z) - A Multi-Fidelity Graph U-Net Model for Accelerated Physics Simulations [1.2430809884830318]
本稿では,GNNモデルの性能向上のための多元性手法の利点を生かした,新しいGNNアーキテクチャであるMulti-Fidelity U-Netを提案する。
提案手法は精度とデータ要求において有意に優れた性能を示すことを示す。
また,提案アーキテクチャの高速バージョンであるMulti-Fidelity U-Net Liteを35%高速化し,精度を2～5%削減した。
論文 参考訳（メタデータ） (2024-12-19T20:09:38Z) - Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-03-21T02:33:37Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Hardware-aware training for large-scale and diverse deep learning
inference workloads using in-memory computing-based accelerators [7.152059921639833]
大規模なディープニューラルネットワークの多くは、AIMC上での等精度を示すために、再訓練が成功できることが示されている。
以上の結果から,重みではなく入力や出力にノイズを加えるAIMCの非理想性が,DNNの精度に最も影響を与えることが示唆された。
論文 参考訳（メタデータ） (2023-02-16T18:25:06Z) - Vertical Layering of Quantized Neural Networks for Heterogeneous
Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。
理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文 参考訳（メタデータ） (2022-12-10T15:57:38Z) - HyperTransformer: Model Generation for Supervised and Semi-Supervised
Few-Shot Learning [14.412066456583917]
本稿では,支援サンプルから直接畳み込みニューラルネットワーク(CNN)の重みを生成する,少数ショット学習のためのトランスフォーマーベースモデルを提案する。
本手法は,タスク非依存の定型埋め込みの学習が最適でない小ターゲットCNNアーキテクチャにおいて,特に有効である。
提案手法は,サポートセット内のラベルなしサンプルを利用した半教師付きシステムに拡張され,さらにショット性能が向上する。
論文 参考訳（メタデータ） (2022-01-11T20:15:35Z) - Load-balanced Gather-scatter Patterns for Sparse Deep Neural Networks [20.374784902476318]
モデル重み付けにゼロを導入する方法として, モデル精度と計算効率のトレードオフを良好に提供する方法として, プルーニングが有効であることが示されている。
現代のプロセッサには、高速なオンチップスクラッチパッドメモリと、間接的に負荷を発生させ、そのようなメモリ上の操作を格納する集/散乱エンジンが備わっている。
本研究では,スクラッチパッドメモリと集合/散乱エンジンを利用して,ニューラルネットワークの推論を高速化する,新しいスパースパターン(GSパターン)を提案する。
論文 参考訳（メタデータ） (2021-12-20T22:55:45Z) - Learning to Learn Parameterized Classification Networks for Scalable
Input Images [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。
我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。
さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
論文 参考訳（メタデータ） (2020-07-13T04:27:25Z) - An Image Enhancing Pattern-based Sparsity for Real-time Inference on
Mobile Devices [58.62801151916888]
パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。
新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
論文 参考訳（メタデータ） (2020-01-20T16:17:36Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。