論文の概要: Not all domains are equally complex: Adaptive Multi-Domain Learning

• arxiv url: http://arxiv.org/abs/2003.11504v1
• Date: Wed, 25 Mar 2020 17:16:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 02:29:35.344103
• Title: Not all domains are equally complex: Adaptive Multi-Domain Learning
• Title（参考訳）: すべてのドメインが等しく複雑ではない:適応型マルチドメイン学習
• Authors: Ali Senhaji, Jenni Raitoharju, Moncef Gabbouj and Alexandros Iosifidis
• Abstract要約: 深層ニューラルネットワークを用いた多分野学習のための適応パラメータ化手法を提案する。 提案手法は,パラメータ数をはるかに削減しながら,元の手法と同等に動作する。
• 参考スコア（独自算出の注目度）: 98.25886129591974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning approaches are highly specialized and require training separate models for different tasks. Multi-domain learning looks at ways to learn a multitude of different tasks, each coming from a different domain, at once. The most common approach in multi-domain learning is to form a domain agnostic model, the parameters of which are shared among all domains, and learn a small number of extra domain-specific parameters for each individual new domain. However, different domains come with different levels of difficulty; parameterizing the models of all domains using an augmented version of the domain agnostic model leads to unnecessarily inefficient solutions, especially for easy to solve tasks. We propose an adaptive parameterization approach to deep neural networks for multi-domain learning. The proposed approach performs on par with the original approach while reducing by far the number of parameters, leading to efficient multi-domain learning solutions.
• Abstract（参考訳）: ディープラーニングアプローチは高度に専門的であり、異なるタスクのために別々のモデルをトレーニングする必要がある。 マルチドメイン学習(multi-domain learning)とは、複数の異なるタスクを学習する方法である。 マルチドメイン学習における最も一般的なアプローチは、ドメインに依存しないモデルを作ることであり、そのパラメータはすべてのドメインで共有され、新しいドメインごとに少数の余分なドメイン固有のパラメータを学習する。 しかし、異なるドメインは異なるレベルの難易度を持つ: 拡張バージョンのドメイン非依存モデルを用いて全てのドメインのモデルをパラメータ化することは、特にタスクの解決を容易にするために、不要に非効率なソリューションをもたらす。 深層ニューラルネットワークを用いた多分野学習のための適応パラメータ化手法を提案する。 提案手法は,パラメータ数を削減しつつ,元の手法と同等に動作し,効率的なマルチドメイン学習ソリューションを実現する。

関連論文リスト

• Multi-BERT: Leveraging Adapters and Prompt Tuning for Low-Resource Multi-Domain Adaptation [14.211024633768986]
  テキストのボリュームと多様性の急速な拡大は、マルチドメイン設定において重大な課題を生じさせる。 従来のアプローチでは、複数のドメインに統一モデルを採用するか、各ドメインに個別モデルを使用するかのいずれかが、しばしば重大な制限を課している。 本稿では,複数のドメイン固有パラメータからなる1つのコアモデルからなる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-02T22:15:48Z)
• Budget-Aware Pruning: Handling Multiple Domains with Less Parameters [43.26944909318156]
  この作業は、ユーザ定義の予算に従って複数のドメインを処理可能なモデルを立案することを目的としている。 これを実現するために、全てのドメインがベースラインモデルから同様のフィルタのサブセットを使用するように促します。 提案されたアプローチは、テスト時に複数のドメインを処理する数少ない作業の1つでありながら、リソース制限されたデバイスに適応することで革新的になる。
  論文  参考訳（メタデータ） (2023-09-20T17:00:31Z)
• Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [80.76164484820818]
  多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。 本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。 TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
  論文  参考訳（メタデータ） (2022-10-25T21:54:26Z)
• Budget-Aware Pruning for Multi-Domain Learning [45.84899283894373]
  この作業は、ユーザが定義した予算に従って複数のドメインを処理可能なモデルを立案することを目的としている。 これを実現するために、全てのドメインがベースラインモデルから同様のフィルタのサブセットを使用するように促します。 提案手法は、リソース制限されたデバイスへの適応性の向上によって革新される。
  論文  参考訳（メタデータ） (2022-10-14T20:48:12Z)
• Domain Invariant Masked Autoencoders for Self-supervised Learning from Multi-domains [73.54897096088149]
  マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。 中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。 PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
  論文  参考訳（メタデータ） (2022-05-10T09:49:40Z)
• Boosting Binary Masks for Multi-Domain Learning through Affine Transformations [49.25451497933657]
  マルチドメイン学習の目標は、すべてのドメインでタスクを実行する単一のモデルを作成することです。 最近の研究は、学習されたバイナリ変数を通して、与えられた元のconv-netの内部重みをマスキングすることでこの問題に対処できることを示した。 元のネットワークパラメータのアフィン変換によるマルチドメイン学習のためのバイナリマスクベースのモデルの一般定式化を提供する。
  論文  参考訳（メタデータ） (2021-03-25T14:54:37Z)
• Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
  本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
  論文  参考訳（メタデータ） (2020-10-10T05:13:49Z)
• Multi-Domain Spoken Language Understanding Using Domain- and Task-Aware Parameterization [78.93669377251396]
  音声言語理解は、各ドメインでトレーニングデータのセットが利用できる教師付き学習問題として対処されてきた。 既存の1つのアプローチは、ドメイン間の共同トレーニングに共有パラメータを使用して、マルチドメイン学習を行うことによって、この問題を解決する。 本稿では,ドメイン固有モデルパラメータとタスク固有モデルパラメータを用いて,この手法のパラメータ化を改善することを提案する。
  論文  参考訳（メタデータ） (2020-04-30T15:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。