論文の概要: Constraining Pseudo-label in Self-training Unsupervised Domain Adaptation with Energy-based Model

• arxiv url: http://arxiv.org/abs/2208.12885v1
• Date: Fri, 26 Aug 2022 22:50:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 12:56:06.735461
• Title: Constraining Pseudo-label in Self-training Unsupervised Domain Adaptation with Energy-based Model
• Title（参考訳）: エネルギーモデルを用いた自己学習型教師なしドメイン適応における擬似ラベルの制約
• Authors: Lingsheng Kong, Bo Hu, Xiongchang Liu, Jun Lu, Jane You, Xiaofeng Liu
• Abstract要約: ラベル付きソースドメインの知識をラベル付きターゲットドメインに導入するために、unsupervised domain adaptation (UDA) が開発されている。 近年、深層自己学習は、ターゲットドメインを予測する反復的なプロセスを含む、UDAにとって強力な手段となる。 我々はエネルギーベースモデルを採用し,エネルギー関数最小化の目標とする未ラベル対象試料の訓練を制約する。
• 参考スコア（独自算出の注目度）: 26.074500538428364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning is usually data starved, and the unsupervised domain adaptation (UDA) is developed to introduce the knowledge in the labeled source domain to the unlabeled target domain. Recently, deep self-training presents a powerful means for UDA, involving an iterative process of predicting the target domain and then taking the confident predictions as hard pseudo-labels for retraining. However, the pseudo-labels are usually unreliable, thus easily leading to deviated solutions with propagated errors. In this paper, we resort to the energy-based model and constrain the training of the unlabeled target sample with an energy function minimization objective. It can be achieved via a simple additional regularization or an energy-based loss. This framework allows us to gain the benefits of the energy-based model, while retaining strong discriminative performance following a plug-and-play fashion. The convergence property and its connection with classification expectation minimization are investigated. We deliver extensive experiments on the most popular and large-scale UDA benchmarks of image classification as well as semantic segmentation to demonstrate its generality and effectiveness.
• Abstract（参考訳）: ディープラーニングは通常、データ飢えであり、ラベル付きソースドメインの知識をラベルなしターゲットドメインに導入するために、教師なしドメイン適応(uda)が開発されている。 近年, 深層自己学習は, 対象ドメインの予測を反復的に行い, 自信ある予測をハードな擬似ラベルとして再学習するUDAにとって重要な手段となっている。 しかし、擬似ラベルは通常信頼できないため、伝播エラーを伴う解が容易に導かれる。 本稿では, エネルギーに基づくモデルを用いて, エネルギー関数最小化を目的とし, ラベルなし対象試料の訓練を制約する。 単純な追加の正則化やエネルギーベースの損失によって達成できる。 このフレームワークは,プラグアンドプレイ方式に則って強力な識別性能を維持しつつ,エネルギーベースモデルの利点を得ることができる。 収束特性と分類期待最小化との関係について検討した。 画像分類の最もポピュラーで大規模なUDAベンチマークとセマンティックセグメンテーションに関する広範な実験を行い、その一般化と有効性を示す。

関連論文リスト

• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Contrastive Mean Teacher for Domain Adaptive Object Detectors [20.06919799819326]
  平均教師の自己学習は、オブジェクト検出のための教師なしドメイン適応において強力なパラダイムであるが、低品質の擬似ラベルに苦しむ。 提案するContrastive Mean Teacher (CMT)は、2つのパラダイムが自然に統合され、有益な学習信号が最大化される統一的汎用フレームワークである。 CMTは、Fogdy Cityscapesで51.9%のmAPを達成し、これまでで最高の2.1%のmAPを達成している。
  論文  参考訳（メタデータ） (2023-05-04T17:55:17Z)
• Self-training through Classifier Disagreement for Cross-Domain Opinion Target Extraction [62.41511766918932]
  オピニオンターゲット抽出(OTE)またはアスペクト抽出(AE)は意見マイニングの基本的な課題である。 最近の研究は、現実世界のシナリオでよく見られるクロスドメインのOTEに焦点を当てている。 そこで本稿では,ドメイン固有の教師と学生のネットワークから出力されるモデルが未学習のターゲットデータと一致しない対象サンプルを選択するためのSSLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-28T16:31:17Z)
• Boosting Cross-Domain Speech Recognition with Self-Supervision [35.01508881708751]
  自動音声認識(ASR)のクロスドメイン性能は,トレーニングとテストのミスマッチにより著しく損なわれる可能性がある。 従来, 自己監督学習 (SSL) や擬似ラベル学習 (PL) は, 未ラベルデータの自己監督を利用してUDAに有効であることが示された。 この研究は、事前学習および微調整のパラダイムにおいて、ラベルなしデータを完全に活用する体系的なUDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-20T14:02:53Z)
• Boosting Unsupervised Domain Adaptation with Soft Pseudo-label and Curriculum Learning [19.903568227077763]
  教師なしドメイン適応(UDA)は、完全にラベル付けされたソースドメインからのデータを活用することにより、ラベル付けされていないターゲットドメインの分類性能を向上させる。 ソフトな擬似ラベル戦略を用いてモデル予測の欠陥を大幅に低減するモデルに依存しない2段階学習フレームワークを提案する。 第2段階では,2つのドメインの損失間の重み付けを適応的に制御するカリキュラム学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-03T14:47:32Z)
• STRUDEL: Self-Training with Uncertainty Dependent Label Refinement across Domains [4.812718493682454]
  ホワイトマター高輝度(WMH)セグメンテーションのための非監視領域適応(UDA)アプローチを提案する。 疑似ラベルの不確かさを予測し,不確かさの高いラベルを強調する不確実性誘導損失関数をトレーニングプロセスに統合する。 We results on WMH segmentation across datasets showed the significant improvement of STRUDEL on standard self-training。
  論文  参考訳（メタデータ） (2021-04-23T13:46:26Z)
• Cycle Self-Training for Domain Adaptation [85.14659717421533]
  Cycle Self-Training (CST) は、ドメイン間の一般化に擬似ラベルを強制する、原則付き自己学習アルゴリズムである。 CSTは目標の真理を回復し、不変の機能学習とバニラ自己訓練の両方が失敗する。 実験結果から,標準的なUDAベンチマークでは,CSTは先行技術よりも大幅に改善されていることが示唆された。
  論文  参考訳（メタデータ） (2021-03-05T10:04:25Z)
• Energy-constrained Self-training for Unsupervised Domain Adaptation [25.594991545790638]
  Unsupervised Domain Adapt (UDA)は、ラベル付きソースドメインの知識を、ラベル付きターゲットドメインでうまく機能させることを目的としています。 近年、深層自己学習は、対象領域を予測し、自信のある予測をトレーニングの硬い擬似ラベルとして取り込む反復的なプロセスを含む。 本論文では, エネルギーに基づくモデルに頼り, エネルギー関数最小化目標を用いて, ラベルのない対象試料の訓練を制約する。
  論文  参考訳（メタデータ） (2021-01-01T21:02:18Z)
• A Free Lunch for Unsupervised Domain Adaptive Object Detection without Source Data [69.091485888121]
  教師なしドメイン適応(unsupervised domain adaptation) ソースとターゲットのドメインデータは自由に利用でき、通常、ドメイン間のギャップを減らすために一緒に訓練される。 ノイズの多いラベルで学習する問題にモデル化することで,ソースデータのないドメイン適応オブジェクト検出(SFOD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-10T01:42:35Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• Selective Pseudo-Labeling with Reinforcement Learning for Semi-Supervised Domain Adaptation [116.48885692054724]
  半教師付きドメイン適応のための強化学習に基づく選択擬似ラベル法を提案する。 高精度かつ代表的な擬似ラベルインスタンスを選択するための深層Q-ラーニングモデルを開発する。 提案手法は, SSDAのベンチマークデータセットを用いて評価し, 全ての比較手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-07T03:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。