Fugu-MT 論文翻訳(概要): Continual Domain Adaptation through Pruning-aided Domain-specific Weight Modulation

論文の概要: Continual Domain Adaptation through Pruning-aided Domain-specific Weight Modulation

arxiv url: http://arxiv.org/abs/2304.07560v1
Date: Sat, 15 Apr 2023 13:44:58 GMT
ステータス: 処理完了
システム内更新日: 2023-04-18 18:25:00.532357
Title: Continual Domain Adaptation through Pruning-aided Domain-specific Weight Modulation
Title（参考訳）: Pruning-aided Domain-specific Weight Modulationによる連続的ドメイン適応
Authors: Prasanna B, Sunandini Sanyal, R. Venkatesh Babu
Abstract要約: 継続学習(CL)の実践的設定において、教師なしドメイン適応(UDA)に対処する手法を開発する。目標は、ドメイン固有の知識を保持しながら、ドメインを継続的に変更するモデルを更新して、過去のドメインの破滅的な忘れを防止することです。
参考スコア（独自算出の注目度）: 37.3981662593942
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose to develop a method to address unsupervised domain adaptation (UDA) in a practical setting of continual learning (CL). The goal is to update the model on continually changing domains while preserving domain-specific knowledge to prevent catastrophic forgetting of past-seen domains. To this end, we build a framework for preserving domain-specific features utilizing the inherent model capacity via pruning. We also perform effective inference using a novel batch-norm based metric to predict the final model parameters to be used accurately. Our approach achieves not only state-of-the-art performance but also prevents catastrophic forgetting of past domains significantly. Our code is made publicly available.
Abstract（参考訳）: 本稿では,非教師なし領域適応(unsupervised domain adaptation,uda)を実践的な連続学習(continual learning, cl)で扱う手法を提案する。目標は、ドメイン固有の知識を保持しながら、ドメインを継続的に変更するモデルを更新して、過去のドメインの破滅的な忘れを防止することです。この目的のために、我々はプルーニングによって固有のモデルキャパシティを利用するドメイン固有の機能を保存するためのフレームワークを構築します。また,新しいバッチノルム基準を用いた効果的な推論を行い,最終モデルのパラメータを正確に予測する。提案手法は,最先端の性能だけでなく,過去のドメインの破滅的な忘れ込みを著しく防止する。私たちのコードは公開されています。

関連論文リスト

Progressive Conservative Adaptation for Evolving Target Domains [76.9274842289221]
従来のドメイン適応は、典型的には、ソースドメインから定常ターゲットドメインに知識を転送する。このような対象データに対する復元と適応は、時間とともに計算とリソース消費をエスカレートする。我々は、進歩的保守的適応(PCAda)と呼ばれる、単純で効果的なアプローチを提案する。
論文参考訳（メタデータ） (2024-02-07T04:11:25Z)
ReMask: A Robust Information-Masking Approach for Domain Counterfactual Generation [16.275230631985824]
ドメインのカウンターファクト生成は、テキストをソースドメインから特定のターゲットドメインに変換することを目的としています。我々は、周波数とアテンションノルムに基づくマスキングを含む3段階のドメイン難読化アプローチを用いて、ドメイン固有のキューをマスキングし、ドメインの一般的なコンテキストを復元する。本モデルは, 対向領域適応設定における平均精度を1.4%向上させることにより, 最先端技術よりも優れる。
論文参考訳（メタデータ） (2023-05-04T14:19:02Z)
Domain-incremental Cardiac Image Segmentation with Style-oriented Replay and Domain-sensitive Feature Whitening [67.6394526631557]
M&Mは、各受信データセットから漸進的に学習し、時間が経つにつれて改善された機能で漸進的に更新する必要がある。医学的シナリオでは、データのプライバシのため、過去のデータへのアクセスや保存が一般的に許可されないため、これは特に困難である。本稿では,まず過去のドメイン入力を復元し,モデル最適化中に定期的に再生する新しいドメイン増分学習フレームワークを提案する。
論文参考訳（メタデータ） (2022-11-09T13:07:36Z)
Feed-Forward Latent Domain Adaptation [17.71179872529747]
本研究では,資源制約されたエッジデバイスが事前学習したモデルをローカルなデータ分布に適応させることのできる,新しい高度に実践的な問題設定について検討する。エッジデバイスの制限を考慮すると、バックプロパゲーションを使わず、ソースデータにアクセスせずに、事前訓練されたモデルのみを使用し、フィードフォワード方式で適応することを目指している。我々の解決策は、混合関連ターゲットデータセットを埋め込み、クロスアテンションを用いてターゲットサンプルに対する推論を動的に適応できるネットワークをメタラーニングすることである。
論文参考訳（メタデータ） (2022-07-15T17:37:42Z)
Towards Online Domain Adaptive Object Detection [79.89082006155135]
既存のオブジェクト検出モデルは、トレーニングデータとテストデータの両方が同じソースドメインからサンプリングされていると仮定します。オンライン設定における対象領域の一般化を適応・改善する新しい統合適応フレームワークを提案する。
論文参考訳（メタデータ） (2022-04-11T17:47:22Z)
Unsupervised Domain Generalization for Person Re-identification: A Domain-specific Adaptive Framework [50.88463458896428]
ドメイン一般化(DG)は近年,人物再同定(ReID)において注目されている。既存のメソッドは通常、ソースドメインにラベルを付ける必要があります。本稿では、単純で効率的なドメイン固有適応化フレームワークを提案し、適応正規化モジュールで実現する。
論文参考訳（メタデータ） (2021-11-30T02:35:51Z)
Self-supervised Autoregressive Domain Adaptation for Time Series Data [9.75443057146649]
教師なしドメイン適応(UDA)は、視覚アプリケーションにおけるドメインシフト問題にうまく対処している。これらの手法は、以下の理由により時系列データのパフォーマンスが制限される可能性がある。本稿では,これらの制約に対処するための自己監督型自己回帰ドメイン適応(SLARDA)フレームワークを提案する。
論文参考訳（メタデータ） (2021-11-29T08:17:23Z)
Feature Stylization and Domain-aware Contrastive Learning for Domain Generalization [10.027279853737511]
ドメインの一般化は、ターゲットドメインにアクセスすることなく、ドメインシフトに対するモデルを強化することを目的としている。本稿では,特徴統計を利用して特徴を新しいドメイン特性に分類する新しいフレームワークを提案する。提案したドメイン認識による教師付きコントラスト損失との特徴的整合性を実現する。
論文参考訳（メタデータ） (2021-08-19T10:04:01Z)
Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文参考訳（メタデータ） (2020-06-23T14:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。