論文の概要: BiPC: Bidirectional Probability Calibration for Unsupervised Domain Adaption

• arxiv url: http://arxiv.org/abs/2409.19542v1
• Date: Sun, 29 Sep 2024 03:58:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 22:38:15.027790
• Title: BiPC: Bidirectional Probability Calibration for Unsupervised Domain Adaption
• Title（参考訳）: BiPC: 教師なしドメイン適応のための双方向確率校正
• Authors: Wenlve Zhou, Zhiheng Zhou, Junyuan Shang, Chang Niu, Mingyue Zhang, Xiyuan Tao, Tianlei Wang,
• Abstract要約: Unsupervised Domain Adaptation (UDA)はラベル付きソースドメインを利用してラベルなしのターゲットドメインのタスクを解決する。 トランスフォーマーベースの手法は、UDAにおいて有望であるが、それらの応用は普通のトランスフォーマーに限られている。 BiPCは、CNNやTransformerなど、さまざまなネットワークに適用可能な、シンプルで効果的な方法である。
• 参考スコア（独自算出の注目度）: 12.068623220339166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised Domain Adaptation (UDA) leverages a labeled source domain to solve tasks in an unlabeled target domain. While Transformer-based methods have shown promise in UDA, their application is limited to plain Transformers, excluding Convolutional Neural Networks (CNNs) and hierarchical Transformers. To address this issues, we propose Bidirectional Probability Calibration (BiPC) from a probability space perspective. We demonstrate that the probability outputs from a pre-trained head, after extensive pre-training, are robust against domain gaps and can adjust the probability distribution of the task head. Moreover, the task head can enhance the pre-trained head during adaptation training, improving model performance through bidirectional complementation. Technically, we introduce Calibrated Probability Alignment (CPA) to adjust the pre-trained head's probabilities, such as those from an ImageNet-1k pre-trained classifier. Additionally, we design a Calibrated Gini Impurity (CGI) loss to refine the task head, with calibrated coefficients learned from the pre-trained classifier. BiPC is a simple yet effective method applicable to various networks, including CNNs and Transformers. Experimental results demonstrate its remarkable performance across multiple UDA tasks. Our code will be available at: https://github.com/Wenlve-Zhou/BiPC.
• Abstract（参考訳）: Unsupervised Domain Adaptation (UDA)はラベル付きソースドメインを利用してラベルなしのターゲットドメインのタスクを解決する。 Transformer ベースの手法は UDA の有望性を示しているが、その応用は Convolutional Neural Networks (CNN) と階層型 Transformer を除いてプレーンな Transformer に限られている。 この問題に対処するため,確率空間の観点からBidirectional Probability Calibration (BiPC)を提案する。 本研究では,事前学習した頭部からの確率出力が領域ギャップに対して頑健であり,タスクヘッドの確率分布を調整できることを実証する。 さらに、タスクヘッドは、適応訓練中に事前訓練されたヘッドを強化することができ、双方向補完によるモデル性能を向上させることができる。 技術的には、ImageNet-1kプリトレーニングされた分類器などの事前学習された頭部の確率を調整するために、校正確率アライメント(CPA)を導入する。 さらに,事前学習した分類器から学習した校正係数を用いて,タスクヘッドを改良するキャリブレーションギニ不純物(CGI)損失を設計する。 BiPCは、CNNやTransformerなど、さまざまなネットワークに適用可能な、シンプルで効果的な方法である。 実験の結果、複数のUDAタスクにまたがる顕著なパフォーマンスが示された。 私たちのコードは、https://github.com/Wenlve-Zhou/BiPC.comで公開されます。

関連論文リスト

• Dual-Path Adversarial Lifting for Domain Shift Correction in Online Test-time Adaptation [59.18151483767509]
  テスト時間適応におけるドメインシフト補正のためのデュアルパストークンリフトを導入する。 次に、インターリーブされたトークン予測とドメインシフトトークンのパスとクラストークンのパスの間の更新を行う。 評価実験の結果,提案手法はオンライン完全テスト時間領域適応性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-08-26T02:33:47Z)
• Contrastive Adversarial Training for Unsupervised Domain Adaptation [2.432037584128226]
  様々なドメイン適応タスクにおいて、ドメイン逆行訓練がうまく採用されている。 大規模なモデルでは、敵のトレーニングがソースドメインに偏りやすく、ターゲットドメインにはほとんど適応しない。 本稿では、ラベル付きソースドメインのサンプルを利用して、ターゲットドメインの機能生成を強化・調整するコントラッシブ・逆行訓練(CAT)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T17:59:21Z)
• Bi-discriminator Domain Adversarial Neural Networks with Class-Level Gradient Alignment [87.8301166955305]
  そこで本研究では,クラスレベルのアライメントアライメントを有するバイディミネータドメイン対向ニューラルネットワークを提案する。 BACGは、領域分布の整合性を改善するために勾配信号と二階確率推定を利用する。 さらに、対照的な学習にインスパイアされ、トレーニングプロセスを大幅に短縮できるメモリバンクベースの変種であるFast-BACGを開発した。
  論文  参考訳（メタデータ） (2023-10-21T09:53:17Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation [44.06904757181245]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから異なるラベル付きターゲットドメインに学習した知識を転送することを目的としている。 カテゴリレベルに基づくUDAの根本的な問題は、ターゲットドメインのサンプル用の擬似ラベルの生成である。 我々は,対象サンプルの擬似ラベルを生成するために,双方向中心認識ラベルアルゴリズムを設計する。 擬似ラベルとともに、ソース/ターゲット特徴学習とソース/ターゲット領域アライメントに自己アテンションとクロスアテンションを適用するために、ウェイトシェアリング・トリプルブランチ・トランスフォーマー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T17:59:07Z)
• Self domain adapted network [6.040230864736051]
  ドメインシフトは、臨床実践においてディープネットワークをデプロイする上で大きな問題である。 単体テスト対象に迅速に適応できる新しい自己ドメイン適応ネットワーク(SDA-Net)を提案する。
  論文  参考訳（メタデータ） (2020-07-07T01:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。