論文の概要: CLDA: Collaborative Learning for Enhanced Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2409.02699v1
• Date: Wed, 4 Sep 2024 13:35:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 18:06:50.011689
• Title: CLDA: Collaborative Learning for Enhanced Unsupervised Domain Adaptation
• Title（参考訳）: CLDA: 強化された教師なしドメイン適応のための協調学習
• Authors: Minhee Cho, Hyesong Choi, Hayeon Jo, Dongbo Min,
• Abstract要約: コラボレーティブ・ラーニング(Collaborative Learning)とは、学生モデルを用いて教師の非塩分パラメータを更新し、同時に生徒のパフォーマンスを向上させる手法である。 CLDAは、教師の+0.7% mIoUと生徒の+1.4% mIoUを、GTAのベースラインモデルとシティスケープのベースラインモデルに比較して改善する。
• 参考スコア（独自算出の注目度）: 15.97351561456467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised Domain Adaptation (UDA) endeavors to bridge the gap between a model trained on a labeled source domain and its deployment in an unlabeled target domain. However, current high-performance models demand significant resources, resulting in prohibitive deployment costs and highlighting the need for small yet effective models. For UDA of lightweight models, Knowledge Distillation (KD) in a Teacher-Student framework can be a common approach, but we find that domain shift in UDA leads to a significant increase in non-salient parameters in the teacher model, degrading model's generalization ability and transferring misleading information to the student model. Interestingly, we observed that this phenomenon occurs considerably less in the student model. Driven by this insight, we introduce Collaborative Learning, a method that updates the teacher's non-salient parameters using the student model and at the same time enhance the student's performance using the updated teacher model. Experiments across various tasks and datasets show consistent performance improvements for both student and teacher models. For example, in semantic segmentation, CLDA achieves an improvement of +0.7% mIoU for teacher and +1.4% mIoU for student compared to the baseline model in the GTA to Cityscapes. In the Synthia to Cityscapes, it achieves an improvement of +0.8% mIoU for teacher and +2.0% mIoU for student.
• Abstract（参考訳）: Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインでトレーニングされたモデルとラベルなしのターゲットドメインへのデプロイの間のギャップを埋める試みである。 しかし、現在の高性能モデルはかなりのリソースを必要としており、結果として配置コストが禁じられ、小さなが効果的なモデルの必要性が強調される。 軽量モデルのUDAでは、教師-学生フレームワークにおける知識蒸留(KD)が一般的であるが、UDAのドメインシフトは教師モデルにおける非塩分パラメータの顕著な増加、モデルの一般化能力の低下、学生モデルへの誤解を招く情報伝達につながる。 興味深いことに,学生モデルでは,この現象がかなり少ないことが観察された。 この知見に基づいて,学生モデルを用いて教師の非塩分パラメータを更新すると同時に,教師モデルを用いて生徒のパフォーマンスを向上させる手法である協調学習を紹介した。 さまざまなタスクやデータセットに対する実験は、学生モデルと教師モデルの両方で一貫したパフォーマンス改善を示している。 例えば、セマンティックセグメンテーションにおいて、CLDAは教師の+0.7% mIoU、生徒の+1.4% mIoUをGTAのベースラインモデルからCityscapesに改善する。 Synthia to Cityscapesでは、教師が+0.8% mIoU、生徒が+2.0% mIoUの向上を実現している。

関連論文リスト

• Generalizing Teacher Networks for Effective Knowledge Distillation Across Student Architectures [4.960025399247103]
  Generic Teacher Network (GTN) は、知識を有限のアーキテクチャプールからサンプリングされた任意の学生モデルに効果的に伝達できる汎用的な教師を作成するための、一発のKD-awareトレーニングである。 本手法は, 総合的なKD効果の向上と, プール内の生徒間での総合教師のトレーニングコストの最小化を両立させる。
  論文  参考訳（メタデータ） (2024-07-22T20:34:00Z)
• Periodically Exchange Teacher-Student for Source-Free Object Detection [7.222926042027062]
  Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。 ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。 静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:30:54Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• KDSM: An uplift modeling framework based on knowledge distillation and sample matching [2.036924568983982]
  昇降モデリングは、個人に対する治療効果を推定することを目的としている。 木に基づく手法は増分と一般化に適しており、ニューラルネットベースのモデルは絶対値と精度の予測に優れている。 本稿では,知識蒸留とサンプルマッチング(KDSM)に基づくアップリフトモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T09:15:28Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Knowledge Distillation via Weighted Ensemble of Teaching Assistants [18.593268785143426]
  知識蒸留は、教師と呼ばれる大きなモデルから学生と呼ばれる小さなモデルに知識を移す過程である。 教師と生徒のネットワークサイズギャップが大きくなると、学生ネットワークの性能は低下する。 学生モデル(より小さいモデル)は,複数の指導支援モデルを用いてさらに改善できることが示されている。
  論文  参考訳（メタデータ） (2022-06-23T22:50:05Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Cross-Domain Object Detection via Adaptive Self-Training [45.48690932743266]
  適応的無バイアス教師(AUT)という自己学習フレームワークを提案する。 AUTは、ドメインシフトに対処するために、逆学習と弱い強度データ拡張を使用する。 私たちは、AUTが既存のすべてのアプローチやOracle(完全に監督された)モデルよりも大きなマージンで優れていることを示しています。
  論文  参考訳（メタデータ） (2021-11-25T18:50:15Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。