論文の概要: HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning

• arxiv url: http://arxiv.org/abs/2109.15163v1
• Date: Thu, 30 Sep 2021 14:27:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-01 19:01:19.771240
• Title: HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning
• Title（参考訳）: HSVA:ゼロショット学習のための階層型セマンティックビジュアル適応
• Authors: Shiming Chen, Guo-Sen Xie, Qinmu Peng, Yang Liu, Baigui Sun, Hao Li, Xinge You, Ling Shao
• Abstract要約: ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
• 参考スコア（独自算出の注目度）: 74.76431541169342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zero-shot learning (ZSL) tackles the unseen class recognition problem, transferring semantic knowledge from seen classes to unseen ones. Typically, to guarantee desirable knowledge transfer, a common (latent) space is adopted for associating the visual and semantic domains in ZSL. However, existing common space learning methods align the semantic and visual domains by merely mitigating distribution disagreement through one-step adaptation. This strategy is usually ineffective due to the heterogeneous nature of the feature representations in the two domains, which intrinsically contain both distribution and structure variations. To address this and advance ZSL, we propose a novel hierarchical semantic-visual adaptation (HSVA) framework. Specifically, HSVA aligns the semantic and visual domains by adopting a hierarchical two-step adaptation, i.e., structure adaptation and distribution adaptation. In the structure adaptation step, we take two task-specific encoders to encode the source data (visual domain) and the target data (semantic domain) into a structure-aligned common space. To this end, a supervised adversarial discrepancy (SAD) module is proposed to adversarially minimize the discrepancy between the predictions of two task-specific classifiers, thus making the visual and semantic feature manifolds more closely aligned. In the distribution adaptation step, we directly minimize the Wasserstein distance between the latent multivariate Gaussian distributions to align the visual and semantic distributions using a common encoder. Finally, the structure and distribution adaptation are derived in a unified framework under two partially-aligned variational autoencoders. Extensive experiments on four benchmark datasets demonstrate that HSVA achieves superior performance on both conventional and generalized ZSL. The code is available at \url{https://github.com/shiming-chen/HSVA} .
• Abstract（参考訳）: ゼロショット学習(zsl)は、目に見えないクラス認識問題に取り組み、見たクラスから見えないクラスへ意味的知識を転送する。 通常、望ましい知識伝達を保証するために、ZSLの視覚領域と意味領域を関連付けるための共通(ラテント)空間が採用されている。 しかし、既存の共通空間学習手法は、一段階適応による分布不一致を緩和するだけで意味領域と視覚領域を整合させる。 この戦略は、2つの領域における特徴表現の不均一性のため、本質的に分布と構造の変化の両方を含むため、通常効果がない。 これに対処するため,我々は新しい階層的意味・視覚適応(hsva)フレームワークを提案する。 具体的には、HSVAは階層的な2段階適応、すなわち構造適応と分布適応を採用することで、意味領域と視覚領域を整合させる。 構造適応ステップでは、2つのタスク固有のエンコーダを用いて、ソースデータ(視覚領域)とターゲットデータ(意味領域)を構造整合共通空間に符号化する。 この目的のために,2つのタスク固有分類器の予測間の差異を逆さまに最小化し,視覚的特徴多様体と意味的特徴多様体をより密に一致させるための教師付き逆差(sad)モジュールを提案する。 分布適応ステップでは、潜在多変量ガウス分布間のワッサーシュタイン距離を直接最小化し、共通エンコーダを用いて視覚分布と意味分布を整列させる。 最後に、構造と分布適応は、2つの部分整列変分オートエンコーダの下で統一された枠組みで導出される。 4つのベンチマークデータセットに対する大規模な実験により、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を発揮することが示された。 コードは \url{https://github.com/shiming-chen/hsva} で入手できる。

関連論文リスト

• Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts [56.57141696245328]
  斬新なクラスとドメインの両方が存在するようなオープンワールドシナリオでは、理想的なセグメンテーションモデルは安全のために異常なクラスを検出する必要がある。 既存の方法はドメインレベルとセマンティックレベルの分散シフトを区別するのに苦労することが多い。
  論文  参考訳（メタデータ） (2024-11-06T11:03:02Z)
• Adaptive Betweenness Clustering for Semi-Supervised Domain Adaptation [108.40945109477886]
  分類領域アライメントを実現するために,G-ABC (Adaptive Betweenness Clustering) と呼ばれる新しいSSDA手法を提案する。 提案手法は従来のSSDA手法よりも優れており,提案したG-ABCアルゴリズムの優位性を示している。
  論文  参考訳（メタデータ） (2024-01-21T09:57:56Z)
• Bi-directional Distribution Alignment for Transductive Zero-Shot Learning [48.80413182126543]
  そこで我々は,Bi-VAEGANと呼ばれる新しいゼロショット学習モデル(TZSL)を提案する。 視覚空間と補助空間の間の配向の強化によるシフトを大幅に改善する。 ベンチマーク評価では、Bi-VAEGANは、標準および一般化されたTZSL設定の両方の下で、新しい芸術の状態を達成している。
  論文  参考訳（メタデータ） (2023-03-15T15:32:59Z)
• Distribution Regularized Self-Supervised Learning for Domain Adaptation of Semantic Segmentation [3.284878354988896]
  本稿では,セマンティックセグメンテーションの自己教師付きドメイン適応のための画素レベル分布正規化スキーム(DRSL)を提案する。 典型的な環境では、分類損失はセマンティックセグメンテーションモデルにクラス間のバリエーションをキャプチャする表現を欲しがらせるように強制する。 クラス認識型マルチモーダル分布学習により,ピクセルレベルのクラス内変動を捉える。
  論文  参考訳（メタデータ） (2022-06-20T09:52:49Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Semi-supervised Domain Adaptation for Semantic Segmentation [3.946367634483361]
  セマンティックセグメンテーションにおけるクロスドメインとイントラドメインのギャップに対処する2段階の半教師付き二重ドメイン適応(SSDDA)手法を提案する。 提案手法は,2つの共通合成-実合成セマンティックセグメンテーションベンチマークにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-20T16:13:00Z)
• Unsupervised Domain Adaptation for Semantic Segmentation via Low-level Edge Information Transfer [27.64947077788111]
  セマンティックセグメンテーションのための教師なしドメイン適応は、合成データに基づいて訓練されたモデルを実際の画像に適応させることを目的としている。 従来の特徴レベルの対数学習手法は、高レベルの意味的特徴に適応するモデルのみを考慮していた。 本稿では,ドメイン間ギャップが小さい低レベルエッジ情報を明示的に利用して意味情報の伝達をガイドする試みについて紹介する。
  論文  参考訳（メタデータ） (2021-09-18T11:51:31Z)
• Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation [44.19436340246248]
  本稿では,革新的局所文脈相関整合ドメイン適応手法を提案する。 グローバルレベルのアライメントにおいて、地域レベルのコンピテンシーを達成することを目的としている。 実験では, 最先端手法と比較して, セグメンテーション性能が優れていることを示した。
  論文  参考訳（メタデータ） (2020-07-05T19:00:46Z)
• Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation Method for Semantic Segmentation [97.8552697905657]
  このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。 本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。 GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
  論文  参考訳（メタデータ） (2020-04-02T03:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。