論文の概要: Parameter Sharing in Budget-Aware Adapters for Multi-Domain Learning

• arxiv url: http://arxiv.org/abs/2210.08101v1
• Date: Fri, 14 Oct 2022 20:48:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 19:02:57.947393
• Title: Parameter Sharing in Budget-Aware Adapters for Multi-Domain Learning
• Title（参考訳）: マルチドメイン学習のための予算対応アダプタにおけるパラメータ共有
• Authors: Samuel Felipe dos Santos, Rodrigo Berriel, Thiago Oliveira-Santos, Nicu Sebe, Jurandy Almeida
• Abstract要約: ディープラーニングは計算コストが高く、新しいドメイン毎に学習する必要がある大量のパラメータを必要とする。 マルチドメイン学習は、元のドメインの知識を維持しながら、新しいドメインに適応することでこの問題に対処する。 本研究では,ドメイン間のパラメータ共有を奨励しながら,ユーザ定義の予算に適応できる手法を提案する。
• 参考スコア（独自算出の注目度）: 50.58989107984311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has achieved state-of-the-art performance on several computer vision tasks and domains. Nevertheless, it still demands a high computational cost and a significant amount of parameters that need to be learned for each new domain. Such requirements hinder the use in resource-limited environments and demand both software and hardware optimization. Multi-domain learning addresses this problem by adapting to new domains while retaining the knowledge of the original domain. One limitation of most multi-domain learning approaches is that they usually are not designed for taking into account the resources available to the user. Recently, some works that can reduce computational complexity and amount of parameters to fit the user needs have been proposed, but they need the entire original model to handle all the domains together. This work proposes a method capable of adapting to a user-defined budget while encouraging parameter sharing among domains. Hence, filters that are not used by any domain can be pruned from the network at test time. The proposed approach innovates by better adapting to resource-limited devices while being able to handle multiple domains at test time with fewer parameters and lower computational complexity than the baseline model.
• Abstract（参考訳）: ディープラーニングは、いくつかのコンピュータビジョンタスクやドメインで最先端のパフォーマンスを達成した。 それでもそれでも高い計算コストと、新しいドメインごとに学習する必要があるかなりの量のパラメータを必要としています。 このような要件は、リソース制限された環境での使用を妨げ、ソフトウェアとハードウェアの最適化を要求する。 マルチドメイン学習は、元のドメインの知識を維持しながら、新しいドメインに適応することでこの問題に対処する。 多くのマルチドメイン学習アプローチの制限の一つは、通常、ユーザーが利用できるリソースを考慮に入れないことである。 近年,ユーザのニーズに合った計算複雑性とパラメータの量を削減する作業が提案されているが,すべてのドメインを同時に扱うためには,元のモデル全体が必要である。 本研究は,ユーザ定義予算に適応し,ドメイン間のパラメータ共有を奨励する手法を提案する。 したがって、どのドメインにも使われないフィルタをテスト時にネットワークからプルすることができる。 提案手法は,テスト時に複数のドメインを少ないパラメータで処理し,ベースラインモデルよりも計算複雑性を低減しながら,リソース制限デバイスへの適応性を向上する。

関連論文リスト

• Deep Domain Specialisation for single-model multi-domain learning to rank [1.534667887016089]
  複数のモデルをトレーニングし、メンテナンスし、更新するコストは、すべてのドメインに責任を持つ単一のモデルを持つよりも高い。 本稿では,複数のドメインをひとつのモデルに統合するディープ・ドメイン・スペシャライゼーション(DDS)のアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:19:19Z)
• Multi-BERT: Leveraging Adapters and Prompt Tuning for Low-Resource Multi-Domain Adaptation [14.211024633768986]
  テキストのボリュームと多様性の急速な拡大は、マルチドメイン設定において重大な課題を生じさせる。 従来のアプローチでは、複数のドメインに統一モデルを採用するか、各ドメインに個別モデルを使用するかのいずれかが、しばしば重大な制限を課している。 本稿では,複数のドメイン固有パラメータからなる1つのコアモデルからなる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-02T22:15:48Z)
• Budget-Aware Pruning: Handling Multiple Domains with Less Parameters [43.26944909318156]
  この作業は、ユーザ定義の予算に従って複数のドメインを処理可能なモデルを立案することを目的としている。 これを実現するために、全てのドメインがベースラインモデルから同様のフィルタのサブセットを使用するように促します。 提案されたアプローチは、テスト時に複数のドメインを処理する数少ない作業の1つでありながら、リソース制限されたデバイスに適応することで革新的になる。
  論文  参考訳（メタデータ） (2023-09-20T17:00:31Z)
• Exploring Distributional Shifts in Large Language Models for Code Analysis [36.73114441988879]
  コード機能を持つ3つの大規模言語モデルがどのようにドメイン外データに一般化するかを検討する。 コード要約とコード生成という,2つの基本的なアプリケーションについて検討する。 複数のドメインに適応したモデルが同時に、単一のドメインに適応したモデルと同等に動作していることが分かりました。
  論文  参考訳（メタデータ） (2023-03-16T07:45:46Z)
• Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [80.76164484820818]
  多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。 本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。 TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
  論文  参考訳（メタデータ） (2022-10-25T21:54:26Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
  本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
  論文  参考訳（メタデータ） (2020-10-10T05:13:49Z)
• Not all domains are equally complex: Adaptive Multi-Domain Learning [98.25886129591974]
  深層ニューラルネットワークを用いた多分野学習のための適応パラメータ化手法を提案する。 提案手法は,パラメータ数をはるかに削減しながら,元の手法と同等に動作する。
  論文  参考訳（メタデータ） (2020-03-25T17:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。