論文の概要: Learning Attention as Disentangler for Compositional Zero-shot Learning
- arxiv url: http://arxiv.org/abs/2303.15111v1
- Date: Mon, 27 Mar 2023 11:29:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 15:41:51.938562
- Title: Learning Attention as Disentangler for Compositional Zero-shot Learning
- Title(参考訳): 作曲ゼロショット学習におけるディスタングルとしての学習注意
- Authors: Shaozhe Hao, Kai Han, Kwan-Yee K. Wong
- Abstract要約: 合成ゼロショット学習(CZSL)の鍵となるのは、属性オブジェクト合成の歪みを学習することである。
クロスアテンションを構成的アンタングルとして利用して,非アンタングルな概念の埋め込みを学習する。
本手法は, クローズド・オープン・ワールド・セッティングにおいて, 従来よりも大幅に優れていた。
- 参考スコア(独自算出の注目度): 23.89884587074109
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compositional zero-shot learning (CZSL) aims at learning visual concepts
(i.e., attributes and objects) from seen compositions and combining concept
knowledge into unseen compositions. The key to CZSL is learning the
disentanglement of the attribute-object composition. To this end, we propose to
exploit cross-attentions as compositional disentanglers to learn disentangled
concept embeddings. For example, if we want to recognize an unseen composition
"yellow flower", we can learn the attribute concept "yellow" and object concept
"flower" from different yellow objects and different flowers respectively. To
further constrain the disentanglers to learn the concept of interest, we employ
a regularization at the attention level. Specifically, we adapt the earth
mover's distance (EMD) as a feature similarity metric in the cross-attention
module. Moreover, benefiting from concept disentanglement, we improve the
inference process and tune the prediction score by combining multiple concept
probabilities. Comprehensive experiments on three CZSL benchmark datasets
demonstrate that our method significantly outperforms previous works in both
closed- and open-world settings, establishing a new state-of-the-art.
- Abstract(参考訳): compositional zero-shot learning (czsl) は、目に見える構成から視覚概念(属性とオブジェクト)を学習し、概念知識を目に見えない構成に組み合わせることを目的としている。
CZSLの鍵は、属性オブジェクト合成の絡み合いを学習することである。
そこで本研究では,クロスアテンションを構成的アンタングルとして利用して,非アンタングルな概念埋め込みを学習することを提案する。
例えば、目に見えない構成の「黄色い花」を認識したい場合、それぞれ異なる黄色い物体と異なる花から、属性概念の「黄色」と対象概念の「花」を学ぶことができる。
さらに,関心概念を学ぶために,注意レベルでの規則化を採用する。
具体的には,地球移動器距離(EMD)を横断モジュールの特徴的類似度指標として適用する。
さらに,概念の絡み合いの利点を生かして,推論プロセスを改善し,複数の概念確率を組み合わせることで予測スコアを調整する。
3つのCZSLベンチマークデータセットに関する総合的な実験により、我々の手法はクローズドワールドとオープンワールドの両方で過去の作業よりも大幅に優れており、新しい最先端技術を確立している。
関連論文リスト
- Cross-composition Feature Disentanglement for Compositional Zero-shot Learning [49.919635694894204]
合成ゼロショット学習(CZSL)において、プリミティブ(属性とオブジェクト)の視覚的特徴の歪みは例外的な結果を示した。
本稿では,複数のプリミティブ・シェアリング・コンポジションを入力とし,これらのコンポジションにまたがって一般化されるような不整合プリミティブ・コンポジションを制約するクロス・コンポジション・コンストラクション・ディエンタングルメントの解を提案する。
論文 参考訳(メタデータ) (2024-08-19T08:23:09Z) - Attention Based Simple Primitives for Open World Compositional Zero-Shot Learning [12.558701595138928]
合成ゼロショット学習(CZSL)は属性とオブジェクトペアからなる未知の合成を予測することを目的としている。
この研究では、私たちのテストスペースが属性とオブジェクトの潜在的な組み合わせをすべて包含するオープンワールド構成ゼロショット学習(OW-CZSL)を探求しています。
提案手法では, 属性とオブジェクト間の自己認識機構を利用して, 目に見えるものから見えないものまで, より優れた一般化を実現する。
論文 参考訳(メタデータ) (2024-07-18T17:11:29Z) - Context-based and Diversity-driven Specificity in Compositional
Zero-Shot Learning [23.2504379682456]
コンポジションゼロショット学習(CZSL)のためのコンテキストベースおよび多様性駆動型特異性学習フレームワークについて紹介する。
本フレームワークは, 属性の特異性について, 適用対象の多様性と関連するコンテキストを考慮して評価する。
この手法により、特定の属性オブジェクト対を強調してより正確な予測が可能となり、OW-CZSLにおける合成フィルタリングが改善される。
論文 参考訳(メタデータ) (2024-02-27T06:50:31Z) - Distilled Reverse Attention Network for Open-world Compositional
Zero-Shot Learning [42.138756191997295]
Open-World Composal Zero-Shot Learning (OW-CZSL) は、目に見える属性やオブジェクトの新しい構成を認識することを目的としている。
従来のクローズドワールド・セッティング上に構築されたOW-CZSL法は、制約のないOW試験空間のために著しく劣化した。
本稿では,その課題に対処する新しいディスティルト・リバース・アテンション・ネットワークを提案する。
論文 参考訳(メタデータ) (2023-03-01T10:52:20Z) - Mutual Balancing in State-Object Components for Compositional Zero-Shot
Learning [0.0]
合成ゼロショット学習(CZSL)は、目に見えない状態や物体から未知の合成を認識することを目的としている。
そこで本研究では,CZSLのSTate-Object Components (MUST) におけるMUtual Balanceと呼ばれる新しい手法を提案する。
我々のアプローチは、MIT-States、UT-Zappos、C-GQAといった基本的なCZSLフレームワークと組み合わせることで、最先端のCZSLよりも大幅に優れています。
論文 参考訳(メタデータ) (2022-11-19T10:21:22Z) - Learning Attention Propagation for Compositional Zero-Shot Learning [71.55375561183523]
コンポジションアテンション・プロパゲード・エンベディング(CAPE)と呼ばれる新しい手法を提案する。
CAPEは、この構造を識別し、それらの間の知識を伝播して、目に見えないすべての構成に対するクラス埋め込みを学ぶ。
提案手法は,3つの公開ベンチマークに対して,新しい最先端のベンチマークを設定するために,従来のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-10-20T19:44:11Z) - Siamese Contrastive Embedding Network for Compositional Zero-Shot
Learning [76.13542095170911]
合成ゼロショット学習(CZSL)は、学習中に目に見える状態と対象から形成される見えない構成を認識することを目的としている。
本稿では,未知の合成認識のための新しいSiamese Contrastive Embedding Network(SCEN)を提案する。
提案手法は,3つの挑戦的ベンチマークデータセットに対して,最先端のアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2022-06-29T09:02:35Z) - KG-SP: Knowledge Guided Simple Primitives for Open World Compositional
Zero-Shot Learning [52.422873819371276]
オープンワールドコンポジションゼロショット学習(OW-CZSL)の目的は、画像中の状態とオブジェクトの合成を認識することである。
ここでは、単純なCZSLベースラインを再検討し、プリミティブ、すなわち状態とオブジェクトを独立して予測する。
出力空間から不可能な構成を除去するために, 外部知識を用いて各構成の有効性を推定する。
我々のモデルであるKG-SPはOW-CZSLとpCZSLの両方で技術の状態を達成する。
論文 参考訳(メタデータ) (2022-05-13T17:18:15Z) - Learning Graph Embeddings for Open World Compositional Zero-Shot
Learning [47.09665742252187]
コンポジションゼロショット学習(CZSL)は、トレーニング中に見られる状態とオブジェクトの視覚的プリミティブの見えない構成を認識することを目的としている。
Co-CGE(Compositional Cosine Graph Embeddings)を提案する。
Co-CGEは、グラフ畳み込みニューラルネットワークを介して状態、オブジェクトおよびそれらの組成間の依存性をモデル化する。
論文 参考訳(メタデータ) (2021-05-03T17:08:21Z) - Learning Graph Embeddings for Compositional Zero-shot Learning [73.80007492964951]
合成ゼロショット学習では、観察された視覚的原始状態の見えない構成を認識することが目的である。
本稿では,画像特徴と視覚的プリミティブの潜在表現をエンドツーエンドに学習するCGEという新しいグラフ定式化を提案する。
概念間のセマンティクスを符号化する共同互換性を学習することにより、WordNetのような外部知識ベースに頼ることなく、構成を見えないように一般化することができる。
論文 参考訳(メタデータ) (2021-02-03T10:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。