論文の概要: Feed-Forward Latent Domain Adaptation

• arxiv url: http://arxiv.org/abs/2207.07624v2
• Date: Wed, 31 Jan 2024 19:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 20:13:28.547119
• Title: Feed-Forward Latent Domain Adaptation
• Title（参考訳）: フィードフォワード潜在ドメイン適応
• Authors: Ondrej Bohdal, Da Li, Shell Xu Hu, Timothy Hospedales
• Abstract要約: 本研究では,資源制約されたエッジデバイスが事前学習したモデルをローカルなデータ分布に適応させることのできる,新しい高度に実践的な問題設定について検討する。 エッジデバイスの制限を考慮すると、バックプロパゲーションを使わず、ソースデータにアクセスせずに、事前訓練されたモデルのみを使用し、フィードフォワード方式で適応することを目指している。 我々の解決策は、混合関連ターゲットデータセットを埋め込み、クロスアテンションを用いてターゲットサンプルに対する推論を動的に適応できるネットワークをメタラーニングすることである。
• 参考スコア（独自算出の注目度）: 17.71179872529747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a new highly-practical problem setting that enables resource-constrained edge devices to adapt a pre-trained model to their local data distributions. Recognizing that device's data are likely to come from multiple latent domains that include a mixture of unlabelled domain-relevant and domain-irrelevant examples, we focus on the comparatively under-studied problem of latent domain adaptation. Considering limitations of edge devices, we aim to only use a pre-trained model and adapt it in a feed-forward way, without using back-propagation and without access to the source data. Modelling these realistic constraints bring us to the novel and practically important problem setting of feed-forward latent domain adaptation. Our solution is to meta-learn a network capable of embedding the mixed-relevance target dataset and dynamically adapting inference for target examples using cross-attention. The resulting framework leads to consistent improvements over strong ERM baselines. We also show that our framework sometimes even improves on the upper bound of domain-supervised adaptation, where only domain-relevant instances are provided for adaptation. This suggests that human annotated domain labels may not always be optimal, and raises the possibility of doing better through automated instance selection.
• Abstract（参考訳）: リソース制約のあるエッジデバイスが、事前学習したモデルをローカルなデータ分散に適応できるような、非常に実践的な新しい問題設定について検討する。 このデバイスのデータは、ラベルなしのドメイン関連例とドメイン非関連例の混合を含む複数の潜在ドメインから来る可能性が高いことを認識し、潜在ドメイン適応の比較的未熟な問題に焦点を当てる。 エッジデバイスの限界を考慮すれば,事前学習したモデルのみを使用してフィードフォワードに適応し,バックプロパゲーションを使用せず,ソースデータへのアクセスも行なわないことを目指している。 これらの現実的な制約をモデル化することは、フィードフォワード潜在ドメイン適応の新しい、そして事実上重要な問題設定をもたらす。 我々のソリューションは、混合関係目標データセットを埋め込み、クロスアテンションを用いてターゲット例の推論を動的に適応できるネットワークをメタ学習することである。 その結果、フレームワークは強力なEMMベースラインよりも一貫した改善をもたらす。 また、我々のフレームワークは、適応のためにドメイン関連インスタンスのみを提供するドメイン教師付き適応の上限を上回ることさえあることも示しています。 これは、人間のアノテーション付きドメインラベルが常に最適であるとは限らないことを示唆し、自動インスタンス選択によってより良い処理を行う可能性を高める。

関連論文リスト

• Progressive Conservative Adaptation for Evolving Target Domains [76.9274842289221]
  従来のドメイン適応は、典型的には、ソースドメインから定常ターゲットドメインに知識を転送する。 このような対象データに対する復元と適応は、時間とともに計算とリソース消費をエスカレートする。 我々は、進歩的保守的適応(PCAda)と呼ばれる、単純で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-07T04:11:25Z)
• Semi-Supervised Domain Adaptation with Auto-Encoder via Simultaneous Learning [18.601226898819476]
  本稿では,新しい自動エンコーダベースのドメイン適応モデルと同時学習方式を組み合わせた半教師付きドメイン適応フレームワークを提案する。 我々のフレームワークは、ソースとターゲットのオートエンコーダの両方をトレーニングすることで、強力な分散マッチング特性を有する。
  論文  参考訳（メタデータ） (2022-10-18T00:10:11Z)
• Domain Adaptation from Scratch [24.612696638386623]
  我々は、NLPを機密ドメインに拡張するために欠かせない、新しい学習セットである「スクラッチからのドメイン適応」を提示する。 この設定では、トレーニングされたモデルがセンシティブなターゲットドメイン上でうまく動作するように、ソースドメインの集合からのデータを効率的にアノテートすることを目的としている。 本研究は、データ選択やドメイン適応アルゴリズムからアクティブな学習パラダイムまで、この挑戦的な設定に対するいくつかのアプローチを比較した。
  論文  参考訳（メタデータ） (2022-09-02T05:55:09Z)
• Labeling Where Adapting Fails: Cross-Domain Semantic Segmentation with Point Supervision via Active Selection [81.703478548177]
  セマンティックセグメンテーションに特化したトレーニングモデルは、大量のピクセル単位のアノテートデータを必要とする。 教師なしドメイン適応手法は、ラベル付きソースとラベルなしターゲットデータとの間の特徴分布の整合化を目的としている。 以前の研究は、対象データにスパース単一ピクセルアノテーションという形で、人間のインタラクションをこのプロセスに含めようと試みていた。 アクティブな選択による注釈付きポイントを用いた意味的セグメンテーションのための新しいドメイン適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-01T01:52:28Z)
• The Norm Must Go On: Dynamic Unsupervised Domain Adaptation by Normalization [10.274423413222763]
  ドメイン適応は、学習したモデルを、ドメインシフトやデータ分散の変更など、新しいシナリオに適応するために不可欠である。 現在のアプローチは通常、シフトしたドメインから大量のラベル付きまたはラベルなしのデータを必要とする。 本稿では,この問題を解決するために動的教師なし適応(DUA)を提案する。
  論文  参考訳（メタデータ） (2021-12-01T12:43:41Z)
• Dynamic Feature Alignment for Semi-supervised Domain Adaptation [23.67093835143]
  本稿では,動的特徴アライメントを用いてドメイン間差とドメイン内差に対処することを提案する。 我々のアプローチは、広範囲なチューニングや逆行訓練を必要としないが、半教師付きドメイン適応のための技術の現状を著しく改善する。
  論文  参考訳（メタデータ） (2021-10-18T22:26:27Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Gradual Domain Adaptation via Self-Training of Auxiliary Models [50.63206102072175]
  ソースとターゲットドメイン間のギャップを増やすことで、ドメイン適応はより難しくなります。 中間領域のモデルを学習する補助モデル(AuxSelfTrain)の自己学習を提案する。 教師なしおよび半教師付きドメイン適応のベンチマークデータセットの実験は、その有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:15:25Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。