論文の概要: Pool of Experts: Realtime Querying Specialized Knowledge in Massive Neural Networks

• arxiv url: http://arxiv.org/abs/2107.01354v1
• Date: Sat, 3 Jul 2021 06:31:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 15:11:01.040701
• Title: Pool of Experts: Realtime Querying Specialized Knowledge in Massive Neural Networks
• Title（参考訳）: 専門家のプール:大規模ニューラルネットワークにおける専門知識のリアルタイムクエリ
• Authors: Hakbin Kim and Dong-Wan Choi
• Abstract要約: 本稿では,Pool of Experts(PoE)と呼ばれるフレームワークを提案する。 リアルタイムのモデルクエリサービスのために、PoEはまずエキスパートと呼ばれるプリミティブなコンポーネントのプールを、十分に訓練された十分に汎用的なネットワークから抽出する。 PoEは、かなり正確でコンパクトなモデルをリアルタイムに構築できますが、同じレベルの精度を達成するには、他のトレーニングメソッドに対して、クエリ毎に数分かかります。
• 参考スコア（独自算出の注目度）: 0.20305676256390928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In spite of the great success of deep learning technologies, training and delivery of a practically serviceable model is still a highly time-consuming process. Furthermore, a resulting model is usually too generic and heavyweight, and hence essentially goes through another expensive model compression phase to fit in a resource-limited device like embedded systems. Inspired by the fact that a machine learning task specifically requested by mobile users is often much simpler than it is supported by a massive generic model, this paper proposes a framework, called Pool of Experts (PoE), that instantly builds a lightweight and task-specific model without any training process. For a realtime model querying service, PoE first extracts a pool of primitive components, called experts, from a well-trained and sufficiently generic network by exploiting a novel conditional knowledge distillation method, and then performs our train-free knowledge consolidation to quickly combine necessary experts into a lightweight network for a target task. Thanks to this train-free property, in our thorough empirical study, PoE can build a fairly accurate yet compact model in a realtime manner, whereas it takes a few minutes per query for the other training methods to achieve a similar level of the accuracy.
• Abstract（参考訳）: ディープラーニング技術の大きな成功にもかかわらず、実用可能なモデルのトレーニングと提供は依然として非常に時間を要するプロセスです。 さらに、結果のモデルは通常、汎用的で重すぎるため、組み込みシステムのようなリソース制限されたデバイスに適合するために、本質的に別の高価なモデル圧縮フェーズを通過する。 モバイルユーザが特に要求する機械学習タスクが、巨大なジェネリックモデルによってサポートされるよりもずっとシンプルであるという事実に触発されて、本稿では、トレーニングプロセスなしで、軽量でタスク固有のモデルを簡単に構築する、pool of experts(poe)と呼ばれるフレームワークを提案する。 リアルタイムモデルクエリサービスにおいて、PoEは、まず、新しい条件付き知識蒸留法を利用して、十分に訓練された、十分に汎用的なネットワークから、エキスパートと呼ばれるプリミティブなコンポーネントのプールを抽出し、次に、必要な専門家を迅速に軽量なネットワークに組み込むために、列車不要の知識統合を実行する。 このトレインフリーな性質のおかげで、PoEは極めて正確でコンパクトなモデルをリアルタイムに構築できますが、同じレベルの精度を達成するには、他のトレーニングメソッドのクエリに数分かかります。

関連論文リスト

• Convolutional Networks as Extremely Small Foundation Models: Visual Prompting and Theoretical Perspective [1.79487674052027]
  本稿では,汎用的なディープネットワークを新たなタスクに適応させるプロンプトモジュールを設計する。 学習理論によって駆動され、同じトレーニングエラーの下でより良く一般化されるように、可能な限りシンプルなモジュールを誘導する。 実際、SDForestは非常に低コストで、CPUでもリアルタイムに実現できる。
  論文  参考訳（メタデータ） (2024-09-03T12:34:23Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Revisiting Single-gated Mixtures of Experts [13.591354795556972]
  より実践的なトレーニングを可能にする単純なシングルゲートMOEを再考することを提案する。 当社の仕事の鍵は、(i) アーリーエグジットとアンサンブルな正規化スキームの両方として機能するベースモデルブランチです。 提案モデルが他の複雑なMoEに匹敵する効率と精度のトレードオフを得ることを示す。
  論文  参考訳（メタデータ） (2023-04-11T21:07:59Z)
• BOLT: An Automated Deep Learning Framework for Training and Deploying Large-Scale Search and Recommendation Models on Commodity CPU Hardware [28.05159031634185]
  BOLTは、標準CPUハードウェア上で大規模な検索とレコメンデーションモデルをトレーニングするための、疎いディープラーニングライブラリである。 製品レコメンデーションやテキスト分類,グラフニューラルネットワーク,パーソナライゼーションなど,さまざまな情報検索タスクにおいてBOLTを評価する。
  論文  参考訳（メタデータ） (2023-03-30T22:03:43Z)
• Prismer: A Vision-Language Model with Multi-Task Experts [119.82149763682156]
  Prismerは、タスク固有の専門家のアンサンブルを利用する、データとパラメータ効率のビジョン言語モデルである。 幅広い分野の専門家を活用することで、Prismerはこの専門家の知識を効率的にプールし、様々な視覚言語推論タスクに適応できることを示す。 実験では,Prismerが最先端技術と競合する微調整および少数ショットの学習性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-03-04T21:22:47Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• EBJR: Energy-Based Joint Reasoning for Adaptive Inference [10.447353952054492]
  最先端のディープラーニングモデルは、さまざまなベンチマークで大きなパフォーマンスレベルを達成した。 一方、軽量アーキテクチャは適度な精度を実現しますが、より望ましいレイテンシを実現しています。 本稿では,大規模高精度モデルと小型高速モデルとを併用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-20T02:33:31Z)
• Improving the Accuracy of Early Exits in Multi-Exit Architectures via Curriculum Learning [88.17413955380262]
  マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。 カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。 本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2021-04-21T11:12:35Z)
• Few-Cost Salient Object Detection with Adversarial-Paced Learning [95.0220555274653]
  本稿では,少数のトレーニング画像にのみ手動アノテーションを応用して,効果的なサルエント物体検出モデルを学習することを提案する。 我々は,このタスクを,少額の有能な物体検出とみなし,少数のコストの学習シナリオを促進するために,APL(Adversarialpaced Learning)ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-05T14:15:49Z)
• A General Machine Learning Framework for Survival Analysis [0.8029049649310213]
  生存分析のための機械学習手法の多くは、正しい検閲されたデータと比例的ハザード仮定による標準設定のみを考慮する。 我々は,データ拡張戦略を用いて,複雑な生存タスクを標準的なポアソン回帰タスクに還元する,時間対イベント分析のための非常に一般的な機械学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-27T20:57:18Z)
• Knowledge Distillation: A Survey [87.51063304509067]
  ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。 リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。 知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
  論文  参考訳（メタデータ） (2020-06-09T21:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。