論文の概要: Representation Similarity: A Better Guidance of DNN Layer Sharing for Edge Computing without Training

• arxiv url: http://arxiv.org/abs/2410.11233v1
• Date: Tue, 15 Oct 2024 03:35:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:01:14.085253
• Title: Representation Similarity: A Better Guidance of DNN Layer Sharing for Edge Computing without Training
• Title（参考訳）: Representation similarity: トレーニングなしエッジコンピューティングのためのDNNレイヤ共有のより優れたガイダンス
• Authors: Bryan Bo Cao, Abhinav Sharma, Manavjeet Singh, Anshul Gandhi, Samir Das, Shubham Jain,
• Abstract要約: 本稿では,表現類似度Sで導かれる表現をエッジで共有することで,新しいモデルマージ方式を提案する。 Pearson correlation Coefficient |r| > 0.94 than other metrics。
• 参考スコア（独自算出の注目度）: 3.792729116385123
• License:
• Abstract: Edge computing has emerged as an alternative to reduce transmission and processing delay and preserve privacy of the video streams. However, the ever-increasing complexity of Deep Neural Networks (DNNs) used in video-based applications (e.g. object detection) exerts pressure on memory-constrained edge devices. Model merging is proposed to reduce the DNNs' memory footprint by keeping only one copy of merged layers' weights in memory. In existing model merging techniques, (i) only architecturally identical layers can be shared; (ii) requires computationally expensive retraining in the cloud; (iii) assumes the availability of ground truth for retraining. The re-evaluation of a merged model's performance, however, requires a validation dataset with ground truth, typically runs at the cloud. Common metrics to guide the selection of shared layers include the size or computational cost of shared layers or representation size. We propose a new model merging scheme by sharing representations (i.e., outputs of layers) at the edge, guided by representation similarity S. We show that S is extremely highly correlated with merged model's accuracy with Pearson Correlation Coefficient |r| > 0.94 than other metrics, demonstrating that representation similarity can serve as a strong validation accuracy indicator without ground truth. We present our preliminary results of the newly proposed model merging scheme with identified challenges, demonstrating a promising research future direction.
• Abstract（参考訳）: エッジコンピューティングは、ビデオストリームの送信と処理の遅延を減らし、プライバシを保存するための代替手段として登場した。 しかし、ビデオベースのアプリケーション(例えばオブジェクト検出)で使用されるディープニューラルネットワーク(DNN)の複雑さは、メモリに制約のあるエッジデバイスに圧力をかける。 モデルマージは、DNNのメモリフットプリントを減らし、マージされたレイヤの重みを1コピーだけメモリに保持することで提案される。 既存のモデルマージ技術では、 (i) アーキテクチャ上同一の層のみを共有できる。 (二)クラウドでの計算コストのかかる再訓練が必要である。 (三)再訓練の根拠真理の活用を前提とする。 しかし、マージされたモデルのパフォーマンスを再評価するには、一般的にクラウドで実行される基礎的な真実を持つ検証データセットが必要である。 共有レイヤの選択を導くための一般的なメトリクスは、共有レイヤのサイズや計算コスト、表現サイズなどである。 我々は、表現類似度Sで導かれるエッジでの表現(すなわち、層の出力)を共有することによって、新しいモデルマージスキームを提案する。我々は、Sがマージモデルの精度とピアソン相関係数 |r| > 0.94 との極めて高い相関性を示し、表現類似度が基底真理を伴わない強力な検証精度指標として機能することを実証する。 本稿では,新たなモデルマージ方式の予備的な成果と課題の特定を行い,将来有望な研究の方向性を示す。

関連論文リスト

• Equi-GSPR: Equivariant SE(3) Graph Network Model for Sparse Point Cloud Registration [2.814748676983944]
  局所球面ユークリッド3次元等分散特性をSE(3)メッセージパッシングに基づく伝搬により埋め込んだグラフニューラルネットワークモデルを提案する。 我々のモデルは、主に記述モジュール、同変グラフ層、類似性、最終的な回帰層から構成される。 3DMatchおよびKITTIデータセットで行った実験は、最先端のアプローチと比較して、我々のモデルの魅力的で堅牢な性能を示している。
  論文  参考訳（メタデータ） (2024-10-08T06:48:01Z)
• MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
  プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。 我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
  論文  参考訳（メタデータ） (2024-08-24T05:54:47Z)
• On Layer-wise Representation Similarity: Application for Multi-Exit Models with a Single Classifier [20.17288970927518]
  本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。 本稿では,内部表現の類似性を高めるための協調学習手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T16:41:09Z)
• LiteNeXt: A Novel Lightweight ConvMixer-based Model with Self-embedding Representation Parallel for Medical Image Segmentation [2.0901574458380403]
  医用画像分割のための軽量だが効率的な新しいモデル LiteNeXt を提案する。 LiteNeXtは、少量のパラメータ (0.71M) とギガ浮動小数点演算 (0.42) でスクラッチから訓練されている。
  論文  参考訳（メタデータ） (2024-04-04T01:59:19Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing [5.3221129103999125]
  分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。 本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。 我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T15:02:11Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。