論文の概要: Canoe : A System for Collaborative Learning for Neural Nets

• arxiv url: http://arxiv.org/abs/2108.12124v2
• Date: Mon, 30 Aug 2021 01:01:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-31 11:08:16.516078
• Title: Canoe : A System for Collaborative Learning for Neural Nets
• Title（参考訳）: Canoe : ニューラルネットワークのための協調学習システム
• Authors: Harshit Daga, Yiwen Chen, Aastha Agrawal, Ada Gavrilovska
• Abstract要約: Canoeはニューラルネットワークの知識伝達を容易にするフレームワークである。 Canoeはヘルパーノードのニューラルネットワークから重要なパラメータを動的に抽出する新しいシステムサポートを提供する。 異なるPyTorchモデルとニューラルネットワークモデルによるCanoeの評価は、知識伝達機構が、独立した学習に比べて3.5Xへのモデルの適応性を改善することを示した。
• 参考スコア（独自算出の注目度）: 4.547883122787855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For highly distributed environments such as edge computing, collaborative learning approaches eschew the dependence on a global, shared model, in favor of models tailored for each location. Creating tailored models for individual learning contexts reduces the amount of data transfer, while collaboration among peers provides acceptable model performance. Collaboration assumes, however, the availability of knowledge transfer mechanisms, which are not trivial for deep learning models where knowledge isn't easily attributed to precise model slices. We present Canoe - a framework that facilitates knowledge transfer for neural networks. Canoe provides new system support for dynamically extracting significant parameters from a helper node's neural network and uses this with a multi-model boosting-based approach to improve the predictive performance of the target node. The evaluation of Canoe with different PyTorch and TensorFlow neural network models demonstrates that the knowledge transfer mechanism improves the model's adaptiveness to changes up to 3.5X compared to learning in isolation, while affording several magnitudes reduction in data movement costs compared to federated learning.
• Abstract（参考訳）: エッジコンピューティングのような高度に分散した環境では、協調学習アプローチによってグローバルな共有モデルへの依存が促進され、各場所に適したモデルが好まれる。 個別の学習コンテキストに適したモデルを作成することは、データ転送の量を減らす一方、ピア間のコラボレーションは許容できるモデルパフォーマンスを提供する。 しかし、知識が正確なモデルスライスによって容易に引き起こされない深層学習モデルでは自明ではない、知識伝達メカニズムが利用可能であると仮定する。 Canoe - ニューラルネットワークの知識伝達を容易にするフレームワークを提案する。 Canoeは、ヘルパーノードのニューラルネットワークから重要なパラメータを動的に抽出する新しいシステムサポートを提供し、ターゲットノードの予測パフォーマンスを改善するために、マルチモデルブースティングベースのアプローチでこれを使用する。 異なるPyTorchとTensorFlowニューラルネットワークモデルによるCanoeの評価は、知識伝達機構が、独立した学習に比べて3.5倍までモデルの適応性を向上し、フェデレートされた学習に比べてデータ移動コストが大幅に削減されることを示した。

関連論文リスト

• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• Transfer Learning with Reconstruction Loss [12.906500431427716]
  本稿では,モデルに新たな再構築段階を追加することで,新たなモデル学習手法を提案する。 提案手法は、学習した特徴を一般化し、伝達しやすくし、効率的な伝達学習に容易に利用できる。 数値シミュレーションでは、MNIST手書き桁の転送学習、デバイス間無線ネットワークの電力割り当て、複数入出力ネットワークのダウンリンクビームフォーミングとローカライゼーションの3つの応用が研究されている。
  論文  参考訳（メタデータ） (2024-03-31T00:22:36Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Performance of Transfer Learning Model vs. Traditional Neural Network in Low System Resource Environment [0.0]
  我々は,テキスト分類とNERモデルのNLP応用のための,軽量トランスファー学習モデルと目的に構築されたニューラルネットワークの性能とコストを比較する。 BERT、XLNet、GPTといった最先端モデルの台頭は、転送遅延のベースモデルとして正確さと利益を高める。
  論文  参考訳（メタデータ） (2020-10-20T08:12:56Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。