論文の概要: PRANC: Pseudo RAndom Networks for Compacting deep models

• arxiv url: http://arxiv.org/abs/2206.08464v1
• Date: Thu, 16 Jun 2022 22:03:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 14:37:40.993060
• Title: PRANC: Pseudo RAndom Networks for Compacting deep models
• Title（参考訳）: pranc: 深層モデル圧縮のための擬似ランダムネットワーク
• Authors: Parsa Nooralinejad, Ali Abbasi, Soheil Kolouri, Hamed Pirsiavash
• Abstract要約: 我々は、ネットワークを擬似ランダムに生成された凍結モデルの線形結合として訓練する。 通信のために、ソースエージェントは擬似ランダムベースネットワークを生成するために使用されるシードスカラーのみを送信する。 提案手法はPRANCと呼ばれ,深層モデルよりも100倍近いパラメータを学習する。
• 参考スコア（独自算出の注目度）: 27.202229044014206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Communication becomes a bottleneck in various distributed Machine Learning settings. Here, we propose a novel training framework that leads to highly efficient communication of models between agents. In short, we train our network to be a linear combination of many pseudo-randomly generated frozen models. For communication, the source agent transmits only the `seed' scalar used to generate the pseudo-random `basis' networks along with the learned linear mixture coefficients. Our method, denoted as PRANC, learns almost $100\times$ fewer parameters than a deep model and still performs well on several datasets and architectures. PRANC enables 1) efficient communication of models between agents, 2) efficient model storage, and 3) accelerated inference by generating layer-wise weights on the fly. We test PRANC on CIFAR-10, CIFAR-100, tinyImageNet, and ImageNet-100 with various architectures like AlexNet, LeNet, ResNet18, ResNet20, and ResNet56 and demonstrate a massive reduction in the number of parameters while providing satisfactory performance on these benchmark datasets. The code is available \href{https://github.com/UCDvision/PRANC}{https://github.com/UCDvision/PRANC}
• Abstract（参考訳）: コミュニケーションは、さまざまな分散機械学習設定においてボトルネックとなる。 本稿では,エージェント間のモデル通信を効率的に行うための新しいトレーニングフレームワークを提案する。 要するに、ネットワークを多くの疑似ランダム生成凍結モデルの線形結合として訓練するのです。 通信のために、ソースエージェントは、学習された線形混合係数と共に疑似ランダムな‘basis’ネットワークを生成するために使用される‘seed’スカラーのみを送信する。 我々の手法はPRANCと呼ばれ、深層モデルよりも100\times$少ないパラメータを学習し、それでもいくつかのデータセットやアーキテクチャでよく機能する。 PRANC 対応 1)エージェント間のモデルの効率的な通信 2)効率的なモデル記憶装置 3)フライ上で層状重みを発生させることによる加速度的推論。 我々は、AlexNet、LeNet、ResNet18、ResNet20、ResNet56といった様々なアーキテクチャを用いて、CIFAR-10、CIFAR-100、SmallImageNet、ImageNet-100上でPRANCをテストする。 コードは \href{https://github.com/UCDvision/PRANC}{https://github.com/UCDvision/PRANC} で利用可能である。

関連論文リスト

• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• Learning multi-scale local conditional probability models of images [7.07848787073901]
  ディープニューラルネットワークは、最近のスコアベース拡散法で得られた高品質な世代によって証明されたように、画像の強力な事前確率モデルを学ぶことができる。 しかし、これらのネットワークが複雑なグローバルな統計構造をとらえる手段は、明らかに次元の呪いに苦しむことなく、謎のままだ。 我々は拡散法を多スケール分解に取り入れ、粗大係数に条件付きウェーブレット係数の定常局所マルコフモデルを仮定することにより次元性を減少させる。
  論文  参考訳（メタデータ） (2023-03-06T09:23:14Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Fully differentiable model discovery [0.0]
  ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。 我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
  論文  参考訳（メタデータ） (2021-06-09T08:11:23Z)
• Mixture-based Feature Space Learning for Few-shot Image Classification [6.574517227976925]
  特徴抽出器を同時に訓練し,混合モデルパラメータをオンラインで学習することで,混合モデルを用いたベースクラスをモデル化することを提案する。 非常に少数のサンプルから新しい例を分類するために使用できる、よりリッチでより差別的な特徴空間における結果。
  論文  参考訳（メタデータ） (2020-11-24T03:16:27Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。