論文の概要: Variational Model Perturbation for Source-Free Domain Adaptation

• arxiv url: http://arxiv.org/abs/2210.10378v1
• Date: Wed, 19 Oct 2022 08:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 13:35:32.772684
• Title: Variational Model Perturbation for Source-Free Domain Adaptation
• Title（参考訳）: ソースフリー領域適応のための変分モデル摂動
• Authors: Mengmeng Jing, Xiantong Zhen, Jingjing Li and Cees G. M. Snoek
• Abstract要約: 確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
• 参考スコア（独自算出の注目度）: 64.98560348412518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We aim for source-free domain adaptation, where the task is to deploy a model pre-trained on source domains to target domains. The challenges stem from the distribution shift from the source to the target domain, coupled with the unavailability of any source data and labeled target data for optimization. Rather than fine-tuning the model by updating the parameters, we propose to perturb the source model to achieve adaptation to target domains. We introduce perturbations into the model parameters by variational Bayesian inference in a probabilistic framework. By doing so, we can effectively adapt the model to the target domain while largely preserving the discriminative ability. Importantly, we demonstrate the theoretical connection to learning Bayesian neural networks, which proves the generalizability of the perturbed model to target domains. To enable more efficient optimization, we further employ a parameter sharing strategy, which substantially reduces the learnable parameters compared to a fully Bayesian neural network. Our model perturbation provides a new probabilistic way for domain adaptation which enables efficient adaptation to target domains while maximally preserving knowledge in source models. Experiments on several source-free benchmarks under three different evaluation settings verify the effectiveness of the proposed variational model perturbation for source-free domain adaptation.
• Abstract（参考訳）: 私たちは、ソースドメインに事前トレーニングされたモデルをターゲットドメインにデプロイする、ソースフリーなドメイン適応を目指しています。 この課題は、ソースからターゲットドメインへの分散シフトと、最適化のためのソースデータとラベル付きターゲットデータの可用性の欠如に起因している。 パラメータを更新することでモデルを微調整する代わりに、ターゲットドメインへの適応を達成するためにソースモデルを摂動させることを提案する。 確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 そうすることで、識別能力を大きく保ちながら、モデルをターゲットドメインに効果的に適用することができるのです。 さらに,対象領域に対する摂動モデルの一般化性を示すベイズ型ニューラルネットワークの学習に関する理論的関連性を実証する。 より効率的な最適化を実現するために、完全ベイズニューラルネットワークと比較して学習可能なパラメータを著しく削減するパラメータ共有戦略を用いる。 我々のモデル摂動は、ソースモデルにおける知識を最大限に保ちながら、ターゲットドメインへの効率的な適応を可能にする、ドメイン適応の新しい確率的方法を提供する。 3つの異なる評価条件下での複数のソースフリーベンチマーク実験は、ソースフリードメイン適応のための変分モデル摂動の有効性を検証する。

関連論文リスト

• Revisiting the Domain Shift and Sample Uncertainty in Multi-source Active Domain Transfer [69.82229895838577]
  Active Domain Adaptation (ADA)は、アノテートするターゲットデータの限られた数を選択することで、新しいターゲットドメインにおけるモデル適応を最大限に向上することを目的としている。 この設定は、複数のソースからトレーニングデータを収集するより実践的なシナリオを無視します。 これは、ADAを単一のソースドメインから複数のソースドメインに拡張する、新しい、挑戦的な知識転送の設定を目標にしています。
  論文  参考訳（メタデータ） (2023-11-21T13:12:21Z)
• Mitigate Domain Shift by Primary-Auxiliary Objectives Association for Generalizing Person ReID [39.98444065846305]
  ReIDモデルは、インスタンス分類の目的に関するトレーニングを通じてのみドメイン不変表現を学ぶのに苦労します。 本稿では,弱いラベル付き歩行者唾液度検出のための補助学習目標を用いて,プライマリReIDインスタンス分類目標のモデル学習を指導する手法を提案する。 我々のモデルは、最近のテストタイムダイアグラムで拡張してPAOA+を形成し、補助的な目的に対してオンザフライ最適化を行うことができる。
  論文  参考訳（メタデータ） (2023-10-24T15:15:57Z)
• Rethinking the Role of Pre-Trained Networks in Source-Free Domain Adaptation [26.481422574715126]
  ソースフリードメイン適応(SFDA)は、完全にラベル付けされたソースドメインでトレーニングされたソースモデルを、ラベル付けされていないターゲットドメインに適応させることを目的としている。 大規模データ事前トレーニングネットワークは、ソーストレーニング中にソースモデルを初期化するために使用され、その後破棄される。 本稿では,事前学習されたネットワークを対象適応プロセスに統合し,一般化に重要な特徴を多様化することを提案する。
  論文  参考訳（メタデータ） (2022-12-15T02:25:22Z)
• Fast OT for Latent Domain Adaptation [25.915629674463286]
  本稿では,最適輸送理論を検証可能かつ実装可能な解を用いて,最適な潜在特徴表現を学習するアルゴリズムを提案する。 これは、サンプルをターゲットドメインからソースドメインの配布に転送するコストを最小化することで達成される。
  論文  参考訳（メタデータ） (2022-10-02T10:25:12Z)
• Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
  ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。 本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:03:30Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Gradual Domain Adaptation via Self-Training of Auxiliary Models [50.63206102072175]
  ソースとターゲットドメイン間のギャップを増やすことで、ドメイン適応はより難しくなります。 中間領域のモデルを学習する補助モデル(AuxSelfTrain)の自己学習を提案する。 教師なしおよび半教師付きドメイン適応のベンチマークデータセットの実験は、その有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:15:25Z)
• Selecting Treatment Effects Models for Domain Adaptation Using Causal Knowledge [82.5462771088607]
  監視されていないドメイン適応設定下でITE法用に特別に設計された新しいモデル選択メトリックを提案する。 特に,介入効果の予測が対象領域の既知の因果構造を満たすモデルを選択することを提案する。
  論文  参考訳（メタデータ） (2021-02-11T21:03:14Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。