論文の概要: I-SPLIT: Deep Network Interpretability for Split Computing
- arxiv url: http://arxiv.org/abs/2209.11607v1
- Date: Fri, 23 Sep 2022 14:26:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 13:52:45.543874
- Title: I-SPLIT: Deep Network Interpretability for Split Computing
- Title（参考訳）: i-split: スプリットコンピューティングのためのディープネットワーク解釈可能性
- Authors: Federico Cunico, Luigi Capogrosso, Francesco Setti, Damiano Carra,
Franco Fummi, Marco Cristani
- Abstract要約: この研究は、分割コンピューティングの分野、すなわち、ディープニューラルネットワークを分割して、その初期部分を組み込みデバイスに、残りをサーバーにホストする方法において、大きな一歩を踏み出している。
我々は、レイヤーのアーキテクチャが重要であるだけでなく、それに含まれるニューロンの重要性も示している。
- 参考スコア（独自算出の注目度）: 11.652957867167098
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work makes a substantial step in the field of split computing, i.e., how
to split a deep neural network to host its early part on an embedded device and
the rest on a server. So far, potential split locations have been identified
exploiting uniquely architectural aspects, i.e., based on the layer sizes.
Under this paradigm, the efficacy of the split in terms of accuracy can be
evaluated only after having performed the split and retrained the entire
pipeline, making an exhaustive evaluation of all the plausible splitting points
prohibitive in terms of time. Here we show that not only the architecture of
the layers does matter, but the importance of the neurons contained therein
too. A neuron is important if its gradient with respect to the correct class
decision is high. It follows that a split should be applied right after a layer
with a high density of important neurons, in order to preserve the information
flowing until then. Upon this idea, we propose Interpretable Split (I-SPLIT): a
procedure that identifies the most suitable splitting points by providing a
reliable prediction on how well this split will perform in terms of
classification accuracy, beforehand of its effective implementation. As a
further major contribution of I-SPLIT, we show that the best choice for the
splitting point on a multiclass categorization problem depends also on which
specific classes the network has to deal with. Exhaustive experiments have been
carried out on two networks, VGG16 and ResNet-50, and three datasets,
Tiny-Imagenet-200, notMNIST, and Chest X-Ray Pneumonia. The source code is
available at https://github.com/vips4/I-Split.
- Abstract（参考訳）: この研究は、分割コンピューティングの分野、すなわち、ディープニューラルネットワークを分割して、その初期部分を組み込みデバイスに、残りをサーバーにホストする方法において、大きな一歩を踏み出している。
これまでのところ、潜在的に分割された場所は、一意のアーキテクチャ的側面、すなわち層の大きさに基づいて特定されている。
このパラダイムの下では、分割を行い、パイプライン全体を再訓練した後のみ、精度で分割の有効性を評価することができ、時間的に禁止されるすべての可算分割点を徹底的に評価することができる。
ここでは、レイヤのアーキテクチャが重要であるだけでなく、それに含まれるニューロンの重要性も示します。
正しいクラス決定に対する勾配が高ければ、ニューロンは重要である。
それまでの情報を保存するためには、重要なニューロンの密度の高い層の後すぐに分割を適用する必要がある。
そこで我々は,この分割がどの程度の精度で機能するかを,その効果的な実装に先立って,信頼性の高い予測を行うことにより,最も適切な分割点を識別する手法であるInterpretable Split (I-SPLIT)を提案する。
i-splitのさらなる大きな貢献として、マルチクラス分類問題における分割点の最適選択は、ネットワークが扱わなければならない特定のクラスにも依存することを示した。
VGG16とResNet-50の2つのネットワークと、Tiny-Imagenet-200、notMNIST、Chest X-ray Pneumoniaの3つのデータセットで発掘実験が行われた。
ソースコードはhttps://github.com/vips4/I-Split.comで入手できる。
関連論文リスト
- SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。
大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。
本手法は精度と計算効率の両面で最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-10-14T04:01:08Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳（メタデータ） (2022-06-17T04:07:45Z) - SplitPlace: AI Augmented Splitting and Placement of Large-Scale Neural
Networks in Mobile Edge Environments [13.864161788250856]
この研究は、階層分割戦略とセマンティック分割戦略をインテリジェントに決定するために、Multi-Armed-Banditsを使用するAI駆動のオンラインポリシーであるSplitPlaceを提案する。
SplitPlaceは、意思決定対応強化学習を使用して、そのようなニューラルネットワーク分割フラグメントをモバイルエッジデバイスに配置する。
実験の結果,SplitPlaceは平均応答時間,期限違反率,推論精度,合計報酬を最大46,69,3,12%向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-05-21T16:24:47Z) - Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。
Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。
Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
論文 参考訳（メタデータ） (2022-03-29T03:06:16Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - SpinalNet: Deep Neural Network with Gradual Input [12.71050888779988]
本研究では,人間の体感システムについて検討し,より少ない計算で高精度なニューラルネットワーク(SpinalNet)を設計する。
提案したSpinalNetでは、各レイヤは、1)入力分割、2)中間分割、3)出力分割の3つの分割に分割される。
SpinalNetは、DNNの完全な接続層や分類層としても使用することができ、従来の学習と転送学習の両方をサポートする。
論文 参考訳（メタデータ） (2020-07-07T11:27:00Z) - Boundary-assisted Region Proposal Networks for Nucleus Segmentation [89.69059532088129]
大量の核が混在しているため、機械学習モデルはうまく機能しない。
我々は、堅牢なインスタンスレベルの核分割を実現する境界支援領域提案ネットワーク(BRP-Net)を考案する。
論文 参考訳（メタデータ） (2020-06-04T08:26:38Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z) - Splitting Convolutional Neural Network Structures for Efficient
Inference [11.031841470875571]
ネットワーク構造を、元のネットワークよりも少ないメモリを消費する小さな部分に分割する手法が提案されている。
この分割手法は、CIFAR10画像の分類のために、VGG16とResNet18のよく知られた2つのネットワーク構造でテストされている。
論文 参考訳（メタデータ） (2020-02-09T06:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。