論文の概要: Budget-Aware Pruning: Handling Multiple Domains with Less Parameters

• arxiv url: http://arxiv.org/abs/2309.11464v2
• Date: Wed, 3 Jul 2024 18:16:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 01:01:54.440993
• Title: Budget-Aware Pruning: Handling Multiple Domains with Less Parameters
• Title（参考訳）: Budget-Aware Pruning: 少ないパラメータで複数のドメインを扱う
• Authors: Samuel Felipe dos Santos, Rodrigo Berriel, Thiago Oliveira-Santos, Nicu Sebe, Jurandy Almeida,
• Abstract要約: この作業は、ユーザ定義の予算に従って複数のドメインを処理可能なモデルを立案することを目的としている。 これを実現するために、全てのドメインがベースラインモデルから同様のフィルタのサブセットを使用するように促します。 提案されたアプローチは、テスト時に複数のドメインを処理する数少ない作業の1つでありながら、リソース制限されたデバイスに適応することで革新的になる。
• 参考スコア（独自算出の注目度）: 43.26944909318156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has achieved state-of-the-art performance on several computer vision tasks and domains. Nevertheless, it still has a high computational cost and demands a significant amount of parameters. Such requirements hinder the use in resource-limited environments and demand both software and hardware optimization. Another limitation is that deep models are usually specialized into a single domain or task, requiring them to learn and store new parameters for each new one. Multi-Domain Learning (MDL) attempts to solve this problem by learning a single model capable of performing well in multiple domains. Nevertheless, the models are usually larger than the baseline for a single domain. This work tackles both of these problems: our objective is to prune models capable of handling multiple domains according to a user-defined budget, making them more computationally affordable while keeping a similar classification performance. We achieve this by encouraging all domains to use a similar subset of filters from the baseline model, up to the amount defined by the user's budget. Then, filters that are not used by any domain are pruned from the network. The proposed approach innovates by better adapting to resource-limited devices while being one of the few works that handles multiple domains at test time with fewer parameters and lower computational complexity than the baseline model for a single domain.
• Abstract（参考訳）: ディープラーニングは、いくつかのコンピュータビジョンタスクやドメインで最先端のパフォーマンスを達成した。 それでも計算コストが高く、大量のパラメータを必要とする。 このような要件はリソース制限された環境での使用を妨げ、ソフトウェアとハードウェアの最適化の両方を必要とする。 もう1つの制限は、ディープモデルは通常単一のドメインまたはタスクに特化され、新しいドメインごとに新しいパラメータを学習して保存する必要があることである。 マルチドメイン学習(MDL)は、複数のドメインでうまく機能する単一モデルを学習することでこの問題を解決する。 それでも、モデルは通常、1つのドメインのベースラインよりも大きい。 本研究の目的は, ユーザ定義予算に従って複数のドメインを処理可能なモデルを作成することであり, 類似の分類性能を維持しつつ, 計算コストを高くすることである。 これを実現するために、すべてのドメインに対して、ベースラインモデルからユーザーの予算で定義された量まで、同様のフィルタのサブセットを使用することを奨励します。 次に、任意のドメインで使用されていないフィルタをネットワークからプルーニングする。 提案手法は、テスト時に複数のドメインを処理する数少ない作業のひとつでありながら、リソース制限されたデバイスへの適応性を向上し、パラメータが少なく、単一のドメインのベースラインモデルよりも計算の複雑さを小さくする。

関連論文リスト

• Deep Domain Specialisation for single-model multi-domain learning to rank [1.534667887016089]
  複数のモデルをトレーニングし、メンテナンスし、更新するコストは、すべてのドメインに責任を持つ単一のモデルを持つよりも高い。 本稿では,複数のドメインをひとつのモデルに統合するディープ・ドメイン・スペシャライゼーション(DDS)のアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:19:19Z)
• Multi-BERT: Leveraging Adapters and Prompt Tuning for Low-Resource Multi-Domain Adaptation [14.211024633768986]
  テキストのボリュームと多様性の急速な拡大は、マルチドメイン設定において重大な課題を生じさせる。 従来のアプローチでは、複数のドメインに統一モデルを採用するか、各ドメインに個別モデルを使用するかのいずれかが、しばしば重大な制限を課している。 本稿では,複数のドメイン固有パラメータからなる1つのコアモデルからなる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-02T22:15:48Z)
• Exploring Distributional Shifts in Large Language Models for Code Analysis [36.73114441988879]
  コード機能を持つ3つの大規模言語モデルがどのようにドメイン外データに一般化するかを検討する。 コード要約とコード生成という,2つの基本的なアプリケーションについて検討する。 複数のドメインに適応したモデルが同時に、単一のドメインに適応したモデルと同等に動作していることが分かりました。
  論文  参考訳（メタデータ） (2023-03-16T07:45:46Z)
• Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [80.76164484820818]
  多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。 本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。 TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
  論文  参考訳（メタデータ） (2022-10-25T21:54:26Z)
• Budget-Aware Pruning for Multi-Domain Learning [45.84899283894373]
  この作業は、ユーザが定義した予算に従って複数のドメインを処理可能なモデルを立案することを目的としている。 これを実現するために、全てのドメインがベースラインモデルから同様のフィルタのサブセットを使用するように促します。 提案手法は、リソース制限されたデバイスへの適応性の向上によって革新される。
  論文  参考訳（メタデータ） (2022-10-14T20:48:12Z)
• Dynamic Transfer for Multi-Source Domain Adaptation [82.54405157719641]
  モデルパラメータがサンプルに適合する領域の競合に対処するために動的転送を提案する。 ソースドメインの障壁を壊し、マルチソースドメインを単一ソースドメインに変換する。 実験の結果, ドメインラベルを使わずに, 動的移動は最先端の手法よりも3%以上優れていた。
  論文  参考訳（メタデータ） (2021-03-19T01:22:12Z)
• Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
  本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
  論文  参考訳（メタデータ） (2020-10-10T05:13:49Z)
• Not all domains are equally complex: Adaptive Multi-Domain Learning [98.25886129591974]
  深層ニューラルネットワークを用いた多分野学習のための適応パラメータ化手法を提案する。 提案手法は,パラメータ数をはるかに削減しながら,元の手法と同等に動作する。
  論文  参考訳（メタデータ） (2020-03-25T17:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。