論文の概要: Pick up the PACE: Fast and Simple Domain Adaptation via Ensemble Pseudo-Labeling

• arxiv url: http://arxiv.org/abs/2205.13508v1
• Date: Thu, 26 May 2022 17:20:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 17:32:07.282963
• Title: Pick up the PACE: Fast and Simple Domain Adaptation via Ensemble Pseudo-Labeling
• Title（参考訳）: PACEをピックアップする: Ensemble Pseudo-Labelingによる高速でシンプルなドメイン適応
• Authors: Christopher Liao, Theodoros Tsiligkaridis, Brian Kulis
• Abstract要約: ドメイン適応(DA)は、アウト・オブ・ディストリビューションラベル付きデータによるテスト精度の向上の可能性から、近年、ディープラーニング研究者から広く注目を集めている。 本研究では,(1)共分散マッチングによるドメインアライメント,(2)擬似ラベリング,(3)アンサンブルの3段階からなる,高速でシンプルなDA手法を提案する。 PACEは、ニューラルネットワークをトレーニングすることなく、ほとんどのベンチマーク適応タスクにおいて、以前の最先端を$textbf5 - 10 %で上回る。
• 参考スコア（独自算出の注目度）: 16.14184145802016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain Adaptation (DA) has received widespread attention from deep learning researchers in recent years because of its potential to improve test accuracy with out-of-distribution labeled data. Most state-of-the-art DA algorithms require an extensive amount of hyperparameter tuning and are computationally intensive due to the large batch sizes required. In this work, we propose a fast and simple DA method consisting of three stages: (1) domain alignment by covariance matching, (2) pseudo-labeling, and (3) ensembling. We call this method $\textbf{PACE}$, for $\textbf{P}$seudo-labels, $\textbf{A}$lignment of $\textbf{C}$ovariances, and $\textbf{E}$nsembles. PACE is trained on top of fixed features extracted from an ensemble of modern pretrained backbones. PACE exceeds previous state-of-the-art by $\textbf{5 - 10 \%}$ on most benchmark adaptation tasks without training a neural network. PACE reduces training time and hyperparameter tuning time by $82\%$ and $97\%$, respectively, when compared to state-of-the-art DA methods. Code is released here: https://github.com/Chris210634/PACE-Domain-Adaptation
• Abstract（参考訳）: ドメイン適応(DA)は、分布外ラベル付きデータによるテスト精度の向上の可能性から、近年、ディープラーニング研究者から広く注目を集めている。 ほとんどの最先端のdaアルゴリズムは、大量のハイパーパラメータチューニングを必要とし、必要なバッチサイズのために計算集約的である。 本研究では,(1)共分散マッチングによるドメインアライメント,(2)擬似ラベル,(3)アンサンブルの3段階からなる,高速でシンプルなDA手法を提案する。 このメソッドを$\textbf{pace}$, for $\textbf{p}$seudo-labels, $\textbf{a}$lignment of $\textbf{c}$ovariances, $\textbf{e}$nsembles と呼びます。 PACEは、現代の事前訓練されたバックボーンのアンサンブルから抽出された固定された特徴に基づいて訓練される。 paceは、ニューラルネットワークをトレーニングせずに、ほとんどのベンチマーク適応タスクで$\textbf{5 - 10 \%}$で以前の最先端を上回っている。 PACEは、最先端のDA手法と比較して、トレーニング時間とハイパーパラメータチューニング時間をそれぞれ82\%と97\%に削減する。 https://github.com/Chris210634/PACE-Domain-Adaptation

関連論文リスト

• Exploiting Pre-trained Models for Drug Target Affinity Prediction with Nearest Neighbors [58.661454334877256]
  薬物-標的結合親和性(DTA)予測は、薬物発見に不可欠である。 DTA予測へのディープラーニング手法の適用にもかかわらず、達成された精度は依然として準最適である。 事前学習したDTA予測モデルに適用した非表現埋め込みに基づく検索手法である$k$NN-DTAを提案する。
  論文  参考訳（メタデータ） (2024-07-21T15:49:05Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Blessing of Class Diversity in Pre-training [54.335530406959435]
  事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。 我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
  論文  参考訳（メタデータ） (2022-09-07T20:10:12Z)
• Asynchronous Training Schemes in Distributed Learning with Time Delay [17.259708772713164]
  分散ディープラーニングの文脈では、固定重みや勾配の問題によってアルゴリズムの性能が低下する可能性がある。 本稿では,静的な重みや勾配の問題に対処する別のアプローチを提案する。 また,PC-ASGDの実用版として,トレードオフパラメータの決定を支援する条件を適用して提案する。
  論文  参考訳（メタデータ） (2022-08-28T07:14:59Z)
• Not All Models Are Equal: Predicting Model Transferability in a Self-challenging Fisher Space [51.62131362670815]
  本稿では、トレーニング済みのディープニューラルネットワークのランク付けと、下流タスクにおける最も転送可能なニューラルネットワークのスクリーニングの問題に対処する。 textbfSelf-challenging textbfFisher textbfDiscriminant textbfAnalysis (textbfSFDA)と呼ばれる新しい転送可能性指標を提案する。
  論文  参考訳（メタデータ） (2022-07-07T01:33:25Z)
• One Ring to Bring Them All: Towards Open-Set Recognition under Domain Shift [39.31881646860522]
  我々は、$n$のソースクラスと未知のクラスを予測するために、$n$+1のウェイを学習するための新しいトレーニングスキームを提案する。 対象適応には、単純に重み付きエントロピー最小化を採用し、未ラベル対象領域にソース事前学習モデルを適用する。 提案手法は,複数のベンチマークに適応する際のソースデータを要求する,現在のUNDAアプローチを超越する。
  論文  参考訳（メタデータ） (2022-06-07T21:39:54Z)
• Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
  現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。 そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。 実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-05-12T02:23:25Z)
• Adversarial Unsupervised Domain Adaptation with Conditional and Label Shift: Infer, Align and Iterate [47.67549731439979]
  本稿では, 固有条件およびラベルシフトを用いた, 対向的非教師付きドメイン適応(UDA)アプローチを提案する。 差分$p(y)$を推論し、トレーニングにおいて反復的に$p(x|y)$をアライメントし、テストにおいて後方$p(y|x)$を正確にアライメントする。
  論文  参考訳（メタデータ） (2021-07-28T16:28:01Z)
• Keep it Simple: Image Statistics Matching for Domain Adaptation [0.0]
  ドメイン適応(英: Domain Adaptation, DA)とは、未ラベル画像のみが対象領域から利用可能である場合に検出精度を維持する手法である。 最近の最先端の手法は、敵の訓練戦略を用いて領域ギャップを減らそうとしている。 そこで本研究では,色ヒストグラムと平均画像の共分散を対象領域に合わせることを提案する。 近年の手法と比較して,より簡単な訓練手法を用いて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-05-26T07:32:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。