論文の概要: Instance-aware Model Ensemble With Distillation For Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2211.08106v1
• Date: Tue, 15 Nov 2022 12:53:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 15:00:45.673679
• Title: Instance-aware Model Ensemble With Distillation For Unsupervised Domain Adaptation
• Title（参考訳）: 非教師なしドメイン適応のための蒸留を伴うインスタンスアウェアモデルアンサンブル
• Authors: Weimin Wu, Jiayuan Fan, Tao Chen, Hancheng Ye, Bo Zhang, Baopu Li
• Abstract要約: 本稿では,新しいフレームワーク,すなわち IMED を用いたモデルアンサンブルを提案する。 IMEDは複数のUDAコンポーネントモデルを異なるインスタンスに応じて適応的に融合し、これらのコンポーネントを小さなモデルに蒸留する。 本稿では, IMEDに基づくモデルと, 同等の計算コスト下での最先端技術について述べる。
• 参考スコア（独自算出の注目度）: 28.79286984013436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The linear ensemble based strategy, i.e., averaging ensemble, has been proposed to improve the performance in unsupervised domain adaptation tasks. However, a typical UDA task is usually challenged by dynamically changing factors, such as variable weather, views, and background in the unlabeled target domain. Most previous ensemble strategies ignore UDA's dynamic and uncontrollable challenge, facing limited feature representations and performance bottlenecks. To enhance the model, adaptability between domains and reduce the computational cost when deploying the ensemble model, we propose a novel framework, namely Instance aware Model Ensemble With Distillation, IMED, which fuses multiple UDA component models adaptively according to different instances and distills these components into a small model. The core idea of IMED is a dynamic instance aware ensemble strategy, where for each instance, a nonlinear fusion subnetwork is learned that fuses the extracted features and predicted labels of multiple component models. The nonlinear fusion method can help the ensemble model handle dynamically changing factors. After learning a large capacity ensemble model with good adaptability to different changing factors, we leverage the ensemble teacher model to guide the learning of a compact student model by knowledge distillation. Furthermore, we provide the theoretical analysis of the validity of IMED for UDA. Extensive experiments conducted on various UDA benchmark datasets, e.g., Office 31, Office Home, and VisDA 2017, show the superiority of the model based on IMED to the state of the art methods under the comparable computation cost.
• Abstract（参考訳）: 線形アンサンブルに基づく戦略、すなわち平均アンサンブルは、教師なし領域適応タスクの性能を改善するために提案されている。 しかし、典型的なudaタスクは、通常、変数の天気、ビュー、ラベルなしのターゲットドメインの背景など、動的に変化する要因によって挑戦される。 以前のアンサンブル戦略のほとんどは、機能表現とパフォーマンスボトルネックに直面する、udaの動的で制御不能な課題を無視している。 モデルの拡張, ドメイン間の適応性の向上, アンサンブルモデルをデプロイする際の計算コストの削減を目的として, 異なるインスタンスに応じて複数の UDA コンポーネントモデルを適応的に融合し, これらのコンポーネントを小さなモデルに蒸留する新しいフレームワーク IMED を提案する。 imedの中核となるアイデアは動的インスタンス認識アンサンブル戦略であり、各インスタンスに対して、抽出された特徴と複数のコンポーネントモデルのラベルを融合する非線形融合サブネットワークが学習される。 非線形融合法は、アンサンブルモデルが動的に変化する因子を扱うのに役立つ。 異なる変化要因への適応性に優れた大容量アンサンブルモデルを学んだ後、アンサンブル教師モデルを用いて、知識蒸留によるコンパクトな学生モデルの学習を指導する。 さらに,UDAに対するIMEDの有効性に関する理論的解析を行った。 様々なUDAベンチマークデータセット(例えば、Office 31、Office Home、VisDA 2017)で実施された大規模な実験は、IMEDに基づくモデルと、同等の計算コストのアートメソッドの状態との優位性を示している。

関連論文リスト

• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Layer-wise Model Merging for Unsupervised Domain Adaptation in Segmentation Tasks [3.776249047528669]
  フリーでトレーニングされたモデルの豊富さを活用して、モデルマージにコストフリーのアプローチを導入します。 初期レイヤを統一しながら、タスク固有の最終レイヤの特異性を維持することを目的としている。 このアプローチは、パフォーマンスを高めるために不可欠な、すべてのレイヤにおけるパラメータの一貫性を保証する。
  論文  参考訳（メタデータ） (2024-09-24T07:19:30Z)
• Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation [7.200910949076064]
  フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。 しかし、FLシステムは、悪質なモデルの更新をアップロードすることでモデルのトレーニングプロセスを妨害することを目的とした、よく設計されたByzantine攻撃に対して脆弱である。 本稿では,階層的適応アグリゲーションと事前アグリゲーション・スパリフィケーションを組み合わせたLayer-Adaptive Sparsified Model Aggregation(LASA)手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T19:28:35Z)
• Out-of-Distribution Detection via Deep Multi-Comprehension Ensemble [11.542472900306745]
  マルチComprehension (MC) Ensemble は,OOD (Out-of-Distribution) 特徴表現を拡大するための戦略として提案されている。 OOD検出におけるMC Ensemble戦略の優れた性能を示す実験結果を得た。 これにより,提案手法がトレーニング分布外のインスタンスを検出できるモデルの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-24T18:43:04Z)
• Reinforcement Learning for Topic Models [3.42658286826597]
  本稿では,ProdLDAにおける変分オートエンコーダを連続行動空間強化学習ポリシーに置き換えることにより,トピックモデリングに強化学習手法を適用した。 ニューラルネットワークアーキテクチャの近代化、ELBO損失の重み付け、コンテキスト埋め込みの使用、トピックの多様性と一貫性の計算による学習プロセスの監視など、いくつかの変更を導入している。
  論文  参考訳（メタデータ） (2023-05-08T16:41:08Z)
• Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
  本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。 DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。 以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
  論文  参考訳（メタデータ） (2023-02-13T12:39:45Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Instance-specific and Model-adaptive Supervision for Semi-supervised Semantic Segmentation [49.82432158155329]
  iMAS と呼ばれる半教師付きセマンティックセグメンテーションのためのインスタンス固有およびモデル適応型監視法を提案する。 iMASは、評価された硬さに基づいて、対応する一貫性損失を測定することで、ラベルのないインスタンスから徐々に学習する。
  論文  参考訳（メタデータ） (2022-11-21T10:37:28Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Model-Invariant State Abstractions for Model-Based Reinforcement Learning [54.616645151708994]
  textitmodel-invarianceという新しいタイプの状態抽象化を紹介します。 これにより、状態変数の見当たらない値の新しい組み合わせへの一般化が可能になる。 このモデル不変状態抽象化を通じて最適なポリシーを学習できることを実証する。
  論文  参考訳（メタデータ） (2021-02-19T10:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。