論文の概要: Boosting Binary Masks for Multi-Domain Learning through Affine Transformations

• arxiv url: http://arxiv.org/abs/2103.13894v1
• Date: Thu, 25 Mar 2021 14:54:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:36:09.689134
• Title: Boosting Binary Masks for Multi-Domain Learning through Affine Transformations
• Title（参考訳）: アフィン変換によるマルチドメイン学習のための二項マスクの強化
• Authors: Massimiliano Mancini, Elisa Ricci, Barbara Caputo and Samuel Rota Bul\'o
• Abstract要約: マルチドメイン学習の目標は、すべてのドメインでタスクを実行する単一のモデルを作成することです。 最近の研究は、学習されたバイナリ変数を通して、与えられた元のconv-netの内部重みをマスキングすることでこの問題に対処できることを示した。 元のネットワークパラメータのアフィン変換によるマルチドメイン学習のためのバイナリマスクベースのモデルの一般定式化を提供する。
• 参考スコア（独自算出の注目度）: 49.25451497933657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present a new, algorithm for multi-domain learning. Given a pretrained architecture and a set of visual domains received sequentially, the goal of multi-domain learning is to produce a single model performing a task in all the domains together. Recent works showed how we can address this problem by masking the internal weights of a given original conv-net through learned binary variables. In this work, we provide a general formulation of binary mask based models for multi-domain learning by affine transformations of the original network parameters. Our formulation obtains significantly higher levels of adaptation to new domains, achieving performances comparable to domain-specific models while requiring slightly more than 1 bit per network parameter per additional domain. Experiments on two popular benchmarks showcase the power of our approach, achieving performances close to state-of-the-art methods on the Visual Decathlon Challenge.
• Abstract（参考訳）: 本研究では,マルチドメイン学習のための新しいアルゴリズムを提案する。 事前学習されたアーキテクチャと一連の視覚ドメインが順次受け取られると、マルチドメイン学習の目標は、すべてのドメインでタスクを実行する単一のモデルを作ることである。 最近の研究は、学習されたバイナリ変数を通して、与えられた元のconv-netの内部重みをマスキングすることでこの問題に対処できることを示した。 本研究では、元のネットワークパラメータのアフィン変換によるマルチドメイン学習のためのバイナリマスクベースモデルの一般化を提供する。 提案方式では,新たなドメインへの適応レベルが大幅に向上し,ネットワークパラメータ1個につき1ビット以上必要としつつ,ドメイン固有のモデルに匹敵する性能を実現する。 2つの人気のあるベンチマークの実験は、私たちのアプローチのパワーを示し、Visual Decathlon Challengeの最先端メソッドに近いパフォーマンスを実現しています。

関連論文リスト

• Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
  トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。 マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
  論文  参考訳（メタデータ） (2024-07-01T09:45:22Z)
• Multi-Domain Learning with Modulation Adapters [33.54630534228469]
  マルチドメイン学習は、複数のドメインにまたがる画像分類など、関連するタスクを同時に処理することを目的としている。 変調アダプタは、各タスクに対して乗法的にモデルの畳み込み重みを更新する。 我々のアプローチは、既存の最先端のアプローチと同等かそれ以上の精度で、優れた結果をもたらす。
  論文  参考訳（メタデータ） (2023-07-17T14:40:16Z)
• Exploring Distributional Shifts in Large Language Models for Code Analysis [36.73114441988879]
  コード機能を持つ3つの大規模言語モデルがどのようにドメイン外データに一般化するかを検討する。 コード要約とコード生成という,2つの基本的なアプリケーションについて検討する。 複数のドメインに適応したモデルが同時に、単一のドメインに適応したモデルと同等に動作していることが分かりました。
  論文  参考訳（メタデータ） (2023-03-16T07:45:46Z)
• Learning Domain Invariant Prompt for Vision-Language Models [31.581652862478965]
  本稿では,メタプロンプト(MetaPrompt)と呼ばれる未確認領域に一般化可能な,固有領域不変プロンプトを直接生成する新しいプロンプト学習パラダイムを提案する。 我々の手法は既存の手法より一貫して大幅に優れています。
  論文  参考訳（メタデータ） (2022-12-08T11:23:24Z)
• Domain Invariant Masked Autoencoders for Self-supervised Learning from Multi-domains [73.54897096088149]
  マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。 中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。 PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
  論文  参考訳（メタデータ） (2022-05-10T09:49:40Z)
• Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
  生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。 計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:09:29Z)
• TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
  我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。 これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。 我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
  論文  参考訳（メタデータ） (2021-11-29T01:27:42Z)
• Universal Representation Learning from Multiple Domains for Few-shot Classification [41.821234589075445]
  複数の個別に訓練されたネットワークの知識を蒸留し,一組の普遍的な深層表現を学習することを提案する。 より効率的な適応ステップにより、未確認領域に対する普遍表現をさらに洗練できることが示される。
  論文  参考訳（メタデータ） (2021-03-25T13:49:12Z)
• Not all domains are equally complex: Adaptive Multi-Domain Learning [98.25886129591974]
  深層ニューラルネットワークを用いた多分野学習のための適応パラメータ化手法を提案する。 提案手法は,パラメータ数をはるかに削減しながら,元の手法と同等に動作する。
  論文  参考訳（メタデータ） (2020-03-25T17:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。