論文の概要: Budget-Aware Pruning for Multi-Domain Learning

• arxiv url: http://arxiv.org/abs/2210.08101v3
• Date: Sat, 16 Sep 2023 11:01:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 01:19:37.587137
• Title: Budget-Aware Pruning for Multi-Domain Learning
• Title（参考訳）: マルチドメイン学習のための予算対応pruning
• Authors: Samuel Felipe dos Santos, Rodrigo Berriel, Thiago Oliveira-Santos, Nicu Sebe, Jurandy Almeida
• Abstract要約: この作業は、ユーザが定義した予算に従って複数のドメインを処理可能なモデルを立案することを目的としている。 これを実現するために、全てのドメインがベースラインモデルから同様のフィルタのサブセットを使用するように促します。 提案手法は、リソース制限されたデバイスへの適応性の向上によって革新される。
• 参考スコア（独自算出の注目度）: 45.84899283894373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has achieved state-of-the-art performance on several computer vision tasks and domains. Nevertheless, it still has a high computational cost and demands a significant amount of parameters. Such requirements hinder the use in resource-limited environments and demand both software and hardware optimization. Another limitation is that deep models are usually specialized into a single domain or task, requiring them to learn and store new parameters for each new one. Multi-Domain Learning (MDL) attempts to solve this problem by learning a single model that is capable of performing well in multiple domains. Nevertheless, the models are usually larger than the baseline for a single domain. This work tackles both of these problems: our objective is to prune models capable of handling multiple domains according to a user defined budget, making them more computationally affordable while keeping a similar classification performance. We achieve this by encouraging all domains to use a similar subset of filters from the baseline model, up to the amount defined by the user's budget. Then, filters that are not used by any domain are pruned from the network. The proposed approach innovates by better adapting to resource-limited devices while, to our knowledge, being the only work that is capable of handling multiple domains at test time with fewer parameters and lower computational complexity than the baseline model for a single domain.
• Abstract（参考訳）: ディープラーニングは、いくつかのコンピュータビジョンタスクやドメインで最先端のパフォーマンスを達成した。 それにもかかわらず、計算コストは高く、かなりの量のパラメータを必要とする。 このような要件は、リソース制限された環境での使用を妨げ、ソフトウェアとハードウェアの最適化を要求する。 別の制限として、深層モデルは通常単一のドメインやタスクに特化しており、新しいパラメータを学習し、新しいパラメータを格納する必要がある。 マルチドメイン学習(MDL)は、複数のドメインでうまく機能する単一のモデルを学習することでこの問題を解決する。 それでも、モデルは通常、1つのドメインのベースラインよりも大きい。 本研究の目的は, ユーザ定義予算に従って複数のドメインを処理可能なモデルを試作し, 類似の分類性能を維持しつつ, 計算的に安価に処理できるようにすることである。 これを実現するために、すべてのドメインに対して、ベースラインモデルからユーザーの予算で定義された量まで、同様のフィルタのサブセットを使用することを奨励します。 次に、任意のドメインで使用されていないフィルタをネットワークからプルーニングする。 提案手法は、リソース制限されたデバイスへの適応性を向上させると同時に、我々の知識では、単一のドメインのベースラインモデルよりも少ないパラメータと低い計算複雑性で、テスト時に複数のドメインを処理できる唯一の仕事である。

関連論文リスト

• Deep Domain Specialisation for single-model multi-domain learning to rank [1.534667887016089]
  複数のモデルをトレーニングし、メンテナンスし、更新するコストは、すべてのドメインに責任を持つ単一のモデルを持つよりも高い。 本稿では,複数のドメインをひとつのモデルに統合するディープ・ドメイン・スペシャライゼーション(DDS)のアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:19:19Z)
• Multi-BERT: Leveraging Adapters and Prompt Tuning for Low-Resource Multi-Domain Adaptation [14.211024633768986]
  テキストのボリュームと多様性の急速な拡大は、マルチドメイン設定において重大な課題を生じさせる。 従来のアプローチでは、複数のドメインに統一モデルを採用するか、各ドメインに個別モデルを使用するかのいずれかが、しばしば重大な制限を課している。 本稿では,複数のドメイン固有パラメータからなる1つのコアモデルからなる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-02T22:15:48Z)
• Budget-Aware Pruning: Handling Multiple Domains with Less Parameters [43.26944909318156]
  この作業は、ユーザ定義の予算に従って複数のドメインを処理可能なモデルを立案することを目的としている。 これを実現するために、全てのドメインがベースラインモデルから同様のフィルタのサブセットを使用するように促します。 提案されたアプローチは、テスト時に複数のドメインを処理する数少ない作業の1つでありながら、リソース制限されたデバイスに適応することで革新的になる。
  論文  参考訳（メタデータ） (2023-09-20T17:00:31Z)
• Exploring Distributional Shifts in Large Language Models for Code Analysis [36.73114441988879]
  コード機能を持つ3つの大規模言語モデルがどのようにドメイン外データに一般化するかを検討する。 コード要約とコード生成という,2つの基本的なアプリケーションについて検討する。 複数のドメインに適応したモデルが同時に、単一のドメインに適応したモデルと同等に動作していることが分かりました。
  論文  参考訳（メタデータ） (2023-03-16T07:45:46Z)
• Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [80.76164484820818]
  多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。 本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。 TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
  論文  参考訳（メタデータ） (2022-10-25T21:54:26Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
  本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
  論文  参考訳（メタデータ） (2020-10-10T05:13:49Z)
• Not all domains are equally complex: Adaptive Multi-Domain Learning [98.25886129591974]
  深層ニューラルネットワークを用いた多分野学習のための適応パラメータ化手法を提案する。 提案手法は,パラメータ数をはるかに削減しながら,元の手法と同等に動作する。
  論文  参考訳（メタデータ） (2020-03-25T17:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。