論文の概要: Learning Aligned Cross-Modal Representation for Generalized Zero-Shot Classification

• arxiv url: http://arxiv.org/abs/2112.12927v1
• Date: Fri, 24 Dec 2021 03:35:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-28 16:01:43.868265
• Title: Learning Aligned Cross-Modal Representation for Generalized Zero-Shot Classification
• Title（参考訳）: 一般化ゼロショット分類のための学習型クロスモーダル表現
• Authors: Zhiyu Fang, Xiaobin Zhu, Chun Yang, Zheng Han, Jingyan Qin, Xu-Cheng Yin
• Abstract要約: 一般化ゼロショット分類(GZSC)のためのアラインド・クロスモーダル表現(adigned Cross-Modal Representations, ACMR)の学習による革新的オートエンコーダネットワークを提案する。 具体的には,学習型分類器によって導かれる潜在部分空間上でのクロスモーダルな潜在特徴のアライメントを強化するために,新しい視覚・セマンティックアライメント(VSA)法を提案する。 さらに,潜伏変数の識別能力を高めるとともに,潜伏変数が崩壊する可能性を低減するための新しい情報拡張モジュール (IEM) を提案する。
• 参考スコア（独自算出の注目度）: 17.177622259867515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a common latent embedding by aligning the latent spaces of cross-modal autoencoders is an effective strategy for Generalized Zero-Shot Classification (GZSC). However, due to the lack of fine-grained instance-wise annotations, it still easily suffer from the domain shift problem for the discrepancy between the visual representation of diversified images and the semantic representation of fixed attributes. In this paper, we propose an innovative autoencoder network by learning Aligned Cross-Modal Representations (dubbed ACMR) for GZSC. Specifically, we propose a novel Vision-Semantic Alignment (VSA) method to strengthen the alignment of cross-modal latent features on the latent subspaces guided by a learned classifier. In addition, we propose a novel Information Enhancement Module (IEM) to reduce the possibility of latent variables collapse meanwhile encouraging the discriminative ability of latent variables. Extensive experiments on publicly available datasets demonstrate the state-of-the-art performance of our method.
• Abstract（参考訳）: クロスモーダルオートエンコーダの潜伏空間を整列させて一般的な潜伏埋め込みを学習することは、一般化ゼロショット分類(GZSC)の効果的な戦略である。 しかし、粒度の細かいインスタンス単位のアノテーションが欠如しているため、多様化した画像の視覚表現と固定属性の意味表現との相違により、ドメインシフトの問題に悩まされる。 本稿では,GZSCのためのアラインド・クロスモーダル表現(ACMR)を学習する,革新的なオートエンコーダネットワークを提案する。 具体的には,学習した分類器によって導かれる潜在部分空間上でのクロスモーダル潜在特徴のアライメントを強化するための新しいビジョン・セマンティクスアライメント(vsa)法を提案する。 さらに,潜伏変数の識別能力を高めるとともに,潜伏変数が崩壊する可能性を低減するための新しい情報拡張モジュール(IEM)を提案する。 公開データセットに関する広範囲な実験により,本手法の最先端性能が実証された。

関連論文リスト

• An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
  ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。 従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。 強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:53:01Z)
• CREST: Cross-modal Resonance through Evidential Deep Learning for Enhanced Zero-Shot Learning [48.46511584490582]
  ゼロショット学習(ZSL)は、既知のカテゴリから未知のカテゴリへのセマンティックな知識伝達を活用することで、新しいクラスの認識を可能にする。 分布不均衡や属性共起といった現実世界の課題は、画像の局所的なばらつきの識別を妨げる。 これらの課題を克服するために、双方向のクロスモーダルZSLアプローチCRESTを提案する。
  論文  参考訳（メタデータ） (2024-04-15T10:19:39Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Weakly supervised segmentation with cross-modality equivariant constraints [7.757293476741071]
  弱い教師付き学習は、セマンティックセグメンテーションにおける大きなラベル付きデータセットの必要性を軽減するための魅力的な代替手段として登場した。 本稿では,マルチモーダル画像シナリオにおける自己スーパービジョンを活用した新しい学習戦略を提案する。 私たちのアプローチは、同じ学習条件下で関連する最近の文学を上回ります。
  論文  参考訳（メタデータ） (2021-04-06T13:14:20Z)
• Margin Preserving Self-paced Contrastive Learning Towards Domain Adaptation for Medical Image Segmentation [51.93711960601973]
  クロスモーダル医療画像セグメンテーションのための自己ペースコントラスト学習モデルを保存する新しいマージンを提案する。 プログレッシブに洗練されたセマンティックプロトタイプの指導により、埋め込み表現空間の識別性を高めるために、コントラスト損失を減少させる新しいマージンが提案される。 クロスモーダル心セグメンテーションタスクの実験は、MPSCLが意味セグメンテーション性能を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-03-15T15:23:10Z)
• Cross Knowledge-based Generative Zero-Shot Learning Approach with Taxonomy Regularization [5.280368849852332]
  我々は、Cross Knowledge Learning(CKL)スキームとTaxonomy Regularization(TR)を採用したネットワークベースのZSLアプローチを開発する。 CKLは、ZSLにセマンティックとビジュアルの機能を埋め込むための、より関連性の高いセマンティック機能をトレーニングできる。 TRは、生成ネットワークから生成されるより一般化された視覚特徴を持つ見えない画像との交差を著しく改善する。
  論文  参考訳（メタデータ） (2021-01-25T04:38:18Z)
• Unsupervised Domain Adaptation in Semantic Segmentation via Orthogonal and Clustered Embeddings [25.137859989323537]
  本稿では,機能クラスタリング手法に基づく効果的なUnsupervised Domain Adaptation(UDA)戦略を提案する。 識別的クラスタリング性能を高めるために,2つの新しい学習目標を導入する。
  論文  参考訳（メタデータ） (2020-11-25T10:06:22Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。