論文の概要: Combining inherent knowledge of vision-language models with unsupervised
domain adaptation through self-knowledge distillation
- arxiv url: http://arxiv.org/abs/2312.04066v2
- Date: Mon, 11 Dec 2023 03:15:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 12:24:57.753667
- Title: Combining inherent knowledge of vision-language models with unsupervised
domain adaptation through self-knowledge distillation
- Title(参考訳): 自己知識蒸留による視覚言語モデルの固有知識と教師なし領域適応
- Authors: Thomas Westfechtel, Dexuan Zhang, Tatsuya Harada
- Abstract要約: 教師なしドメイン適応(UDA)は、ラベル付きソースデータセットを活用することで、データのラベル付けの面倒な作業を克服しようとする。
現在の視覚言語モデルは驚くべきゼロショット予測能力を示している。
UDAを通じて得られた知識と、視覚言語モデルの本質的な知識を組み合わせる。
- 参考スコア(独自算出の注目度): 49.65728535989119
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised domain adaptation (UDA) tries to overcome the tedious work of
labeling data by leveraging a labeled source dataset and transferring its
knowledge to a similar but different target dataset. On the other hand, current
vision-language models exhibit astonishing zero-shot prediction capabilities.
In this work, we combine knowledge gained through UDA with the inherent
knowledge of vision-language models. In a first step, we generate the zero-shot
predictions of the source and target dataset using the vision-language model.
Since zero-shot predictions usually exhibit a large entropy, meaning that the
class probabilities are rather evenly distributed, we first adjust the
distribution to accentuate the winning probabilities. This is done using both
source and target data to keep the relative confidence between source and
target data. We then employ a conventional DA method, to gain the knowledge
from the source dataset, in combination with self-knowledge distillation, to
maintain the inherent knowledge of the vision-language model. We further
combine our method with a gradual source domain expansion strategy (GSDE) and
show that this strategy can also benefit by including zero-shot predictions. We
conduct experiments and ablation studies on three benchmarks (OfficeHome,
VisDA, and DomainNet) and outperform state-of-the-art methods. We further show
in ablation studies the contributions of different parts of our algorithm.
- Abstract(参考訳): unsupervised domain adaptation(uda)は、ラベル付きソースデータセットを活用して、その知識を類似しているが異なるターゲットデータセットに転送することで、データラベリングの面倒な作業を克服しようとする。
一方、現在の視覚言語モデルは驚くべきゼロショット予測能力を示している。
本研究では,UDAを通して得られた知識と視覚言語モデル固有の知識を組み合わせる。
最初のステップでは、視覚言語モデルを用いて、ソースとターゲットデータセットのゼロショット予測を生成する。
ゼロショット予測は通常大きなエントロピーを示すため、クラス確率は均等に分布するので、まず分布を調整して勝利確率を強調する。
これはソースデータとターゲットデータの両方を使用して、ソースデータとターゲットデータの相対的な信頼性を維持する。
次に,従来のDA法を用いて,自己知識蒸留と組み合わせて,ソースデータセットから知識を得るとともに,視覚言語モデルの本質的知識を維持する。
さらに,本手法を段階的ソース領域拡張戦略(gsde)と組み合わせることで,ゼロショット予測を含めることで,この戦略が有益であることを示す。
我々は,OfficeHome,VisDA,DomainNetの3つのベンチマークの実験とアブレーション研究を行い,最先端の手法より優れている。
さらに、アルゴリズムの様々な部分の寄与についてアブレーション研究を行う。
関連論文リスト
- Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。
本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
論文 参考訳(メタデータ) (2022-08-16T08:03:30Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Source-Free Domain Adaptation for Semantic Segmentation [11.722728148523366]
Unsupervised Domain Adaptation(UDA)は、セマンティックセグメンテーションのための畳み込みニューラルネットワークベースのアプローチがピクセルレベルの注釈付きデータに大きく依存するという課題に取り組むことができる。
そこで本稿では,十分に訓練されたソースモデルとラベルなしのターゲットドメインデータセットのみを適用可能な,意味セグメンテーションのためのソースフリーなドメイン適応フレームワークsfdaを提案する。
論文 参考訳(メタデータ) (2021-03-30T14:14:29Z) - Source Data-absent Unsupervised Domain Adaptation through Hypothesis
Transfer and Labeling Transfer [137.36099660616975]
Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。
既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。
本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
論文 参考訳(メタデータ) (2020-12-14T07:28:50Z) - Towards Inheritable Models for Open-Set Domain Adaptation [56.930641754944915]
本稿では、将来、ソースデータセットが存在しない場合の適応を容易にするために、ソース学習モデルを用いた実用的なドメイン適応パラダイムを提案する。
本稿では,ソースデータがない場合でも,対象領域に対して最適なソースモデルの選択を可能にするために,継承可能性の定量化を目的とする手法を提案する。
論文 参考訳(メタデータ) (2020-04-09T07:16:30Z) - Do We Really Need to Access the Source Data? Source Hypothesis Transfer
for Unsupervised Domain Adaptation [102.67010690592011]
Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。
従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。
この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
論文 参考訳(メタデータ) (2020-02-20T03:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。