論文の概要: Few-Shot Adaptation of Pre-Trained Networks for Domain Shift

• arxiv url: http://arxiv.org/abs/2205.15234v1
• Date: Mon, 30 May 2022 16:49:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 14:42:23.873261
• Title: Few-Shot Adaptation of Pre-Trained Networks for Domain Shift
• Title（参考訳）: ドメインシフトのための事前学習ネットワークのFew-Shot適応
• Authors: Wenyu Zhang, Li Shen, Wanyue Zhang, Chuan-Sheng Foo
• Abstract要約: 深層ネットワークは、ソース(トレーニング)データとターゲット(テスト)データの間にドメインシフトがある場合、パフォーマンスが低下する傾向がある。 最近のテスト時間適応手法では,新たなターゲット環境にデプロイされた事前訓練されたソースモデルのバッチ正規化レイヤをストリームデータで更新することで,パフォーマンス劣化を軽減している。 データ効率適応の実践的課題に対処するために,少数ショット領域適応のためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.123505029637055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep networks are prone to performance degradation when there is a domain shift between the source (training) data and target (test) data. Recent test-time adaptation methods update batch normalization layers of pre-trained source models deployed in new target environments with streaming data to mitigate such performance degradation. Although such methods can adapt on-the-fly without first collecting a large target domain dataset, their performance is dependent on streaming conditions such as mini-batch size and class-distribution, which can be unpredictable in practice. In this work, we propose a framework for few-shot domain adaptation to address the practical challenges of data-efficient adaptation. Specifically, we propose a constrained optimization of feature normalization statistics in pre-trained source models supervised by a small support set from the target domain. Our method is easy to implement and improves source model performance with as few as one sample per class for classification tasks. Extensive experiments on 5 cross-domain classification and 4 semantic segmentation datasets show that our method achieves more accurate and reliable performance than test-time adaptation, while not being constrained by streaming conditions.
• Abstract（参考訳）: 深層ネットワークは、ソース(トレーニング)データとターゲット(テスト)データの間にドメインシフトがある場合、パフォーマンスが低下する傾向がある。 最近のテスト時間適応手法では,新たなターゲット環境にデプロイされた事前訓練されたソースモデルのバッチ正規化レイヤをストリームデータで更新することで,パフォーマンス劣化を軽減している。 このようなメソッドは、最初に大きなターゲットドメインデータセットを収集せずにオンザフライに適応できるが、パフォーマンスは、実際には予測できないミニバッチサイズやクラス分散といったストリーミング条件に依存する。 本研究では,データ効率適応の実践的課題に対処するために,少数ショット領域適応のためのフレームワークを提案する。 具体的には,対象領域から小さなサポートセットによって監視される事前学習されたソースモデルにおける特徴正規化統計量の制約付き最適化を提案する。 本手法は実装が容易で,クラス毎のサンプル数を1つに抑えることで,ソースモデルの性能を向上させる。 5つのクロスドメイン分類と4つのセマンティクスセグメンテーションデータセットに関する広範な実験により,本手法は,ストリーミング条件に制約されることなく,テスト時適応よりも正確かつ信頼性の高い性能を実現することが示された。

関連論文リスト

• Meta-TTT: A Meta-learning Minimax Framework For Test-Time Training [5.9631503543049895]
  テスト時ドメイン適応は、推論中に制限された未ラベルのターゲットデータに事前訓練されたモデルを適用することを目的とした、困難なタスクである。 本稿では,バッチ正規化レイヤ上でのテスト時間トレーニングを行うためのメタラーニングミニマックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:16:05Z)
• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Adaptive Training Distributions with Scalable Online Bilevel Optimization [26.029033134519604]
  Webスケールコーパスで事前訓練された大規模なニューラルネットワークは、現代の機械学習の中心である。 本研究は,対象とする試験条件を反映したデータのサンプルが少なければ,事前学習分布を変更することを検討する。 本稿では、この設定をオンライン二段階最適化問題として最近定式化したアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T18:01:29Z)
• Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
  Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。 IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。 提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
  論文  参考訳（メタデータ） (2023-09-25T15:56:01Z)
• Addressing Distribution Shift at Test Time in Pre-trained Language Models [3.655021726150369]
  State-of-the-the-art pre-trained Language Model (PLM)は、多くの言語処理タスクに適用された場合、他のモデルよりも優れている。 PLMは分散シフト下で性能が低下することが判明した。 本研究では,分散シフト下での試験時間におけるPLMの性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2022-12-05T16:04:54Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。