論文の概要: MetaGater: Fast Learning of Conditional Channel Gated Networks via Federated Meta-Learning

• arxiv url: http://arxiv.org/abs/2011.12511v2
• Date: Sat, 28 Nov 2020 16:29:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 02:19:12.479705
• Title: MetaGater: Fast Learning of Conditional Channel Gated Networks via Federated Meta-Learning
• Title（参考訳）: MetaGater:Federated Meta-Learningによる条件付きチャネルゲーテッドネットワークの高速学習
• Authors: Sen Lin, Li Yang, Zhezhi He, Deliang Fan, Junshan Zhang
• Abstract要約: 本稿では,バックボーンネットワークとチャネルゲーティングを協調的にトレーニングするための総合的なアプローチを提案する。 我々は,バックボーンネットワークとゲーティングモジュールの両方において,優れたメタ初期化を共同で学習するための,連携型メタ学習手法を開発した。
• 参考スコア（独自算出の注目度）: 46.79356071007187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep learning has achieved phenomenal successes in many AI applications, its enormous model size and intensive computation requirements pose a formidable challenge to the deployment in resource-limited nodes. There has recently been an increasing interest in computationally-efficient learning methods, e.g., quantization, pruning and channel gating. However, most existing techniques cannot adapt to different tasks quickly. In this work, we advocate a holistic approach to jointly train the backbone network and the channel gating which enables dynamical selection of a subset of filters for more efficient local computation given the data input. Particularly, we develop a federated meta-learning approach to jointly learn good meta-initializations for both backbone networks and gating modules, by making use of the model similarity across learning tasks on different nodes. In this way, the learnt meta-gating module effectively captures the important filters of a good meta-backbone network, based on which a task-specific conditional channel gated network can be quickly adapted, i.e., through one-step gradient descent, from the meta-initializations in a two-stage procedure using new samples of that task. The convergence of the proposed federated meta-learning algorithm is established under mild conditions. Experimental results corroborate the effectiveness of our method in comparison to related work.
• Abstract（参考訳）: ディープラーニングは多くのAIアプリケーションで驚くべき成功を収めてきたが、その膨大なモデルサイズと集約的な計算要件は、リソース制限されたノードのデプロイに重大な課題をもたらしている。 近年,量子化,プルーニング,チャネルゲーティングなど,計算効率の高い学習手法への関心が高まっている。 しかし、既存のほとんどの技術は、異なるタスクに迅速に適応できない。 本研究では,データ入力に対してより効率的な局所計算を行うため,フィルタのサブセットを動的に選択できるバックボーンネットワークとチャネルゲーティングを共同で訓練する全体論的手法を提案する。 特に,異なるノード上での学習タスク間のモデル類似性を利用して,バックボーンネットワークとゲーティングモジュールの両方の優れたメタ初期化を協調的に学習するメタ学習手法を開発した。 このようにして、学習メタゲーティングモジュールは、タスク固有の条件付きチャネルゲートドネットワーク、すなわち1段階の勾配降下を通じて、タスクの新しいサンプルを用いた2段階の手順におけるメタ初期化から迅速に適応できる、優れたメタバックボーンネットワークの重要なフィルタを効果的にキャプチャする。 提案するフェデレーションメタラーニングアルゴリズムの収束は、穏やかな条件下で確立される。 実験結果は,本手法の有効性を関連研究と比較した。

関連論文リスト

• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• Neural Routing in Meta Learning [9.070747377130472]
  入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
  論文  参考訳（メタデータ） (2022-10-14T16:31:24Z)
• Skill-based Meta-Reinforcement Learning [65.31995608339962]
  本研究では,長期的スパース・リワードタスクにおけるメタラーニングを実現する手法を提案する。 私たちの中核となる考え方は、メタ学習中にオフラインデータセットから抽出された事前経験を活用することです。
  論文  参考訳（メタデータ） (2022-04-25T17:58:19Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification [62.10696018098057]
  そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。 タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-13T08:49:00Z)
• Meta-Learning with Network Pruning [40.07436648243748]
  本稿では,ネットワークのキャパシティを明示的に制御することで,ネットワークプルーニングに基づくメタラーニング手法を提案する。 我々はDense-Sparse-Dense (DSD) と Iterative Hard Thresholding (IHT) の2つのネットワークプルーニングルーチンを組み込んだReptile上でのアプローチを実装した。
  論文  参考訳（メタデータ） (2020-07-07T06:13:11Z)
• Cross-Domain Few-Shot Learning with Meta Fine-Tuning [8.062394790518297]
  我々はCVPR 2020 Challengeで提案された新しいクロスドメインFew-Shot Learningベンチマークに取り組む。 ドメイン適応および数ショット学習における最先端の手法に基づいて、両方のタスクを実行するためにトレーニング可能なシステムを構築する。
  論文  参考訳（メタデータ） (2020-05-21T09:55:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。