論文の概要: Combining inherent knowledge of vision-language models with unsupervised domain adaptation through strong-weak guidance

• arxiv url: http://arxiv.org/abs/2312.04066v3
• Date: Fri, 19 Jul 2024 04:36:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 05:16:54.997138
• Title: Combining inherent knowledge of vision-language models with unsupervised domain adaptation through strong-weak guidance
• Title（参考訳）: 強弱誘導による視覚言語モデル固有の知識と教師なし領域適応の組合せ
• Authors: Thomas Westfechtel, Dexuan Zhang, Tatsuya Harada,
• Abstract要約: 教師なしドメイン適応(UDA)は、ラベル付きソースデータセットを活用することで、データのラベル付けの面倒な作業を克服しようとする。 現在の視覚言語モデルは、顕著なゼロショット予測能力を示す。 我々は、ゼロショット予測を用いて、ソースとターゲットデータセットの整列を支援する、強弱誘導学習スキームを導入する。
• 参考スコア（独自算出の注目度）: 44.1830188215271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised domain adaptation (UDA) tries to overcome the tedious work of labeling data by leveraging a labeled source dataset and transferring its knowledge to a similar but different target dataset. Meanwhile, current vision-language models exhibit remarkable zero-shot prediction capabilities. In this work, we combine knowledge gained through UDA with the inherent knowledge of vision-language models. We introduce a strong-weak guidance learning scheme that employs zero-shot predictions to help align the source and target dataset. For the strong guidance, we expand the source dataset with the most confident samples of the target dataset. Additionally, we employ a knowledge distillation loss as weak guidance. The strong guidance uses hard labels but is only applied to the most confident predictions from the target dataset. Conversely, the weak guidance is employed to the whole dataset but uses soft labels. The weak guidance is implemented as a knowledge distillation loss with (shifted) zero-shot predictions. We show that our method complements and benefits from prompt adaptation techniques for vision-language models. We conduct experiments and ablation studies on three benchmarks (OfficeHome, VisDA, and DomainNet), outperforming state-of-the-art methods. Our ablation studies further demonstrate the contributions of different components of our algorithm.
• Abstract（参考訳）: 教師なしドメイン適応(UDA)は、ラベル付きソースデータセットを活用して、その知識を類似しているが異なるターゲットデータセットに転送することで、データのラベル付けという面倒な作業を克服しようとする。 一方、現在の視覚言語モデルは驚くべきゼロショット予測能力を示している。 本研究では,UDAを通して得られた知識と視覚言語モデル固有の知識を組み合わせる。 我々は、ゼロショット予測を用いて、ソースとターゲットデータセットの整列を支援する、強弱誘導学習スキームを導入する。 強力なガイダンスを得るために、ターゲットデータセットの最も確実なサンプルでソースデータセットを拡張します。 また,弱い指導法として知識蒸留損失を用いる。 強いガイダンスはハードラベルを使用するが、ターゲットデータセットからの最も確実な予測にのみ適用される。 逆に、弱いガイダンスはデータセット全体に適用されるが、ソフトラベルを使用する。 弱いガイダンスは、ゼロショット予測をシフトした)知識蒸留損失として実装される。 提案手法は,視覚言語モデルへの迅速な適応手法の利点を補完するものである。 我々は3つのベンチマーク(OfficeHome、VisDA、DomainNet)で実験とアブレーションを行い、最先端の手法より優れています。 我々のアブレーション研究は、アルゴリズムの様々な構成要素の貢献をさらに証明している。

関連論文リスト

• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Zero-Shot Fact-Checking with Semantic Triples and Knowledge Graphs [13.024338745226462]
  クレームとエビデンス文を直接操作する代わりに、外部知識グラフを用いたセマンティックトリプルに分解する。 これにより、特定のトレーニングデータを必要とするモデルを教師する、敵対的なデータセットとドメインに一般化することができる。 提案手法は, FEVER, FEVER-Symmetric, FEVER 2.0, Climate-FEVERにおいて, 従来のゼロショットアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-19T01:48:31Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。