論文の概要: Instance-aware Model Ensemble With Distillation For Unsupervised Domain
Adaptation
- arxiv url: http://arxiv.org/abs/2211.08106v1
- Date: Tue, 15 Nov 2022 12:53:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 15:00:45.673679
- Title: Instance-aware Model Ensemble With Distillation For Unsupervised Domain
Adaptation
- Title(参考訳): 非教師なしドメイン適応のための蒸留を伴うインスタンスアウェアモデルアンサンブル
- Authors: Weimin Wu, Jiayuan Fan, Tao Chen, Hancheng Ye, Bo Zhang, Baopu Li
- Abstract要約: 本稿では,新しいフレームワーク,すなわち IMED を用いたモデルアンサンブルを提案する。
IMEDは複数のUDAコンポーネントモデルを異なるインスタンスに応じて適応的に融合し、これらのコンポーネントを小さなモデルに蒸留する。
本稿では, IMEDに基づくモデルと, 同等の計算コスト下での最先端技術について述べる。
- 参考スコア(独自算出の注目度): 28.79286984013436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The linear ensemble based strategy, i.e., averaging ensemble, has been
proposed to improve the performance in unsupervised domain adaptation tasks.
However, a typical UDA task is usually challenged by dynamically changing
factors, such as variable weather, views, and background in the unlabeled
target domain. Most previous ensemble strategies ignore UDA's dynamic and
uncontrollable challenge, facing limited feature representations and
performance bottlenecks. To enhance the model, adaptability between domains and
reduce the computational cost when deploying the ensemble model, we propose a
novel framework, namely Instance aware Model Ensemble With Distillation, IMED,
which fuses multiple UDA component models adaptively according to different
instances and distills these components into a small model. The core idea of
IMED is a dynamic instance aware ensemble strategy, where for each instance, a
nonlinear fusion subnetwork is learned that fuses the extracted features and
predicted labels of multiple component models. The nonlinear fusion method can
help the ensemble model handle dynamically changing factors. After learning a
large capacity ensemble model with good adaptability to different changing
factors, we leverage the ensemble teacher model to guide the learning of a
compact student model by knowledge distillation. Furthermore, we provide the
theoretical analysis of the validity of IMED for UDA. Extensive experiments
conducted on various UDA benchmark datasets, e.g., Office 31, Office Home, and
VisDA 2017, show the superiority of the model based on IMED to the state of the
art methods under the comparable computation cost.
- Abstract(参考訳): 線形アンサンブルに基づく戦略、すなわち平均アンサンブルは、教師なし領域適応タスクの性能を改善するために提案されている。
しかし、典型的なudaタスクは、通常、変数の天気、ビュー、ラベルなしのターゲットドメインの背景など、動的に変化する要因によって挑戦される。
以前のアンサンブル戦略のほとんどは、機能表現とパフォーマンスボトルネックに直面する、udaの動的で制御不能な課題を無視している。
モデルの拡張, ドメイン間の適応性の向上, アンサンブルモデルをデプロイする際の計算コストの削減を目的として, 異なるインスタンスに応じて複数の UDA コンポーネントモデルを適応的に融合し, これらのコンポーネントを小さなモデルに蒸留する新しいフレームワーク IMED を提案する。
imedの中核となるアイデアは動的インスタンス認識アンサンブル戦略であり、各インスタンスに対して、抽出された特徴と複数のコンポーネントモデルのラベルを融合する非線形融合サブネットワークが学習される。
非線形融合法は、アンサンブルモデルが動的に変化する因子を扱うのに役立つ。
異なる変化要因への適応性に優れた大容量アンサンブルモデルを学んだ後、アンサンブル教師モデルを用いて、知識蒸留によるコンパクトな学生モデルの学習を指導する。
さらに,UDAに対するIMEDの有効性に関する理論的解析を行った。
様々なUDAベンチマークデータセット(例えば、Office 31、Office Home、VisDA 2017)で実施された大規模な実験は、IMEDに基づくモデルと、同等の計算コストのアートメソッドの状態との優位性を示している。
関連論文リスト
- Meta-Learning for Airflow Simulations with Graph Neural Networks [3.52359746858894]
本稿では,OoD(Out-of-distribution)サンプルにおける学習モデルの性能向上のためのメタラーニング手法を提案する。
具体的には,各気翼上のCFD内の気流シミュレーションをメタラーニング問題として設定し,一つの気翼形状で定義された各例を個別のタスクとして扱う。
学習モデルのOoD一般化性能向上のための提案手法の有効性を実験的に検証した。
論文 参考訳(メタデータ) (2023-06-18T19:25:13Z) - ViDA: Homeostatic Visual Domain Adapter for Continual Test Time
Adaptation [49.84571101331491]
目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、CTTAタスクを提案する。
我々はCTTAのためのビジュアルドメインアダプタ(ViDA)を提案し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。
提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-06-07T11:18:53Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Reinforcement Learning for Topic Models [3.42658286826597]
本稿では,ProdLDAにおける変分オートエンコーダを連続行動空間強化学習ポリシーに置き換えることにより,トピックモデリングに強化学習手法を適用した。
ニューラルネットワークアーキテクチャの近代化、ELBO損失の重み付け、コンテキスト埋め込みの使用、トピックの多様性と一貫性の計算による学習プロセスの監視など、いくつかの変更を導入している。
論文 参考訳(メタデータ) (2023-05-08T16:41:08Z) - Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。
DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。
以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
論文 参考訳(メタデータ) (2023-02-13T12:39:45Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Instance-specific and Model-adaptive Supervision for Semi-supervised
Semantic Segmentation [49.82432158155329]
iMAS と呼ばれる半教師付きセマンティックセグメンテーションのためのインスタンス固有およびモデル適応型監視法を提案する。
iMASは、評価された硬さに基づいて、対応する一貫性損失を測定することで、ラベルのないインスタンスから徐々に学習する。
論文 参考訳(メタデータ) (2022-11-21T10:37:28Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳(メタデータ) (2022-10-07T17:56:53Z) - Model-Invariant State Abstractions for Model-Based Reinforcement
Learning [54.616645151708994]
textitmodel-invarianceという新しいタイプの状態抽象化を紹介します。
これにより、状態変数の見当たらない値の新しい組み合わせへの一般化が可能になる。
このモデル不変状態抽象化を通じて最適なポリシーを学習できることを実証する。
論文 参考訳(メタデータ) (2021-02-19T10:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。