論文の概要: Simple Primitives with Feasibility- and Contextuality-Dependence for Open-World Compositional Zero-shot Learning

• arxiv url: http://arxiv.org/abs/2211.02895v1
• Date: Sat, 5 Nov 2022 12:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 17:23:09.606079
• Title: Simple Primitives with Feasibility- and Contextuality-Dependence for Open-World Compositional Zero-shot Learning
• Title（参考訳）: オープンワールド合成ゼロショット学習のための実現可能性と文脈依存性を持つ単純プリミティブ
• Authors: Zhe Liu, Yun Li, Lina Yao, Xiaojun Chang, Wei Fang, Xiaojun Wu, and Yi Yang
• Abstract要約: コンポジションゼロショット学習(CZSL)の課題は、トレーニング段階で欠落している新しい状態オブジェクトのイメージを認識することである。 コンポジション埋め込みの学習方法は、クローズドワールドCZSLにおいて有効であることが示されている。 オープンワールドCZSL (OW-CZSL) では, 組成の濃度が大きいため, その性能は著しく低下する傾向にある。
• 参考スコア（独自算出の注目度）: 86.5258816031722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of Compositional Zero-Shot Learning (CZSL) is to recognize images of novel state-object compositions that are absent during the training stage. Previous methods of learning compositional embedding have shown effectiveness in closed-world CZSL. However, in Open-World CZSL (OW-CZSL), their performance tends to degrade significantly due to the large cardinality of possible compositions. Some recent works separately predict simple primitives (i.e., states and objects) to reduce cardinality. However, they consider simple primitives as independent probability distributions, ignoring the heavy dependence between states, objects, and compositions. In this paper, we model the dependence of compositions via feasibility and contextuality. Feasibility-dependence refers to the unequal feasibility relations between simple primitives, e.g., \textit{hairy} is more feasible with \textit{cat} than with \textit{building} in the real world. Contextuality-dependence represents the contextual variance in images, e.g., \textit{cat} shows diverse appearances under the state of \textit{dry} and \textit{wet}. We design Semantic Attention (SA) and generative Knowledge Disentanglement (KD) to learn the dependence of feasibility and contextuality, respectively. SA captures semantics in compositions to alleviate impossible predictions, driven by the visual similarity between simple primitives. KD disentangles images into unbiased feature representations, easing contextual bias in predictions. Moreover, we complement the current compositional probability model with feasibility and contextuality in a compatible format. Finally, we conduct comprehensive experiments to analyze and validate the superior or competitive performance of our model, Semantic Attention and knowledge Disentanglement guided Simple Primitives (SAD-SP), on three widely-used benchmark OW-CZSL datasets.
• Abstract（参考訳）: コンポジションゼロショット学習(CZSL)の課題は、トレーニング段階で欠落している新しい状態オブジェクトのイメージを認識することである。 従来の構成埋め込み学習法はクローズドワールドczslにおいて有効性を示している。 しかし,Open-World CZSL(OW-CZSL)では,組成の濃度が大きいため,性能が著しく低下する傾向にある。 いくつかの最近の研究は、基数を減らすための単純な原始(状態と対象)を別々に予測している。 しかし、彼らは単純なプリミティブを独立確率分布とみなし、状態、対象、構成間の重い依存を無視している。 本稿では,構成の妥当性と文脈性による依存性をモデル化する。 フィージビリティ・ディペンデンス(英: Feasibility-dependence)とは、単純なプリミティブ間の不等式関係(例えば、 \textit{hairy} は実世界での \textit{building} よりも \textit{cat} でより実現可能である)を指す。 文脈依存性(Contextuality-dependence)は、画像のコンテキスト分散を表し、例えば、 \textit{cat} は \textit{dry} と \textit{wet} の状態の下で様々な外観を示す。 本研究では,意味的意図 (SA) と生成的知識分散 (KD) をそれぞれ設計し,実現可能性と文脈性の依存性を学習する。 saは構成のセマンティクスをキャプチャし、単純なプリミティブ間の視覚的類似性によって駆動される不可能予測を緩和する。 KDは画像をバイアスのない特徴表現に切り離し、予測における文脈バイアスを緩和する。 さらに,現在の構成確率モデルを,互換性のあるフォーマットで実現可能性とコンテキスト性で補完する。 最後に,3つのベンチマークow-czslデータセット上で,モデル,セマンティクス的注意およびナレッジ・ディスタングルメント・ガイド・単純プリミティブ(sad-sp)の優れた性能および競争力を解析および検証するための包括的な実験を行った。

関連論文リスト

• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• Attention Based Simple Primitives for Open World Compositional Zero-Shot Learning [12.558701595138928]
  合成ゼロショット学習(CZSL)は属性とオブジェクトペアからなる未知の合成を予測することを目的としている。 この研究では、私たちのテストスペースが属性とオブジェクトの潜在的な組み合わせをすべて包含するオープンワールド構成ゼロショット学習(OW-CZSL)を探求しています。 提案手法では, 属性とオブジェクト間の自己認識機構を利用して, 目に見えるものから見えないものまで, より優れた一般化を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:11:29Z)
• Hierarchical Visual Primitive Experts for Compositional Zero-Shot Learning [52.506434446439776]
  合成ゼロショット学習(CZSL)は、既知のプリミティブ(属性とオブジェクト)の事前知識で構成を認識することを目的としている。 このような問題に対処するために,コンポジショントランスフォーマー(CoT)と呼ばれるシンプルでスケーラブルなフレームワークを提案する。 提案手法は,MIT-States,C-GQA,VAW-CZSLなど,いくつかのベンチマークでSoTA性能を実現する。
  論文  参考訳（メタデータ） (2023-08-08T03:24:21Z)
• ProCC: Progressive Cross-primitive Compatibility for Open-World Compositional Zero-Shot Learning [29.591615811894265]
  Open-World Composal Zero-shot Learning (OW-CZSL) は、コンポジション空間に先立って、画像中の状態とオブジェクトプリミティブの新規なコンポジションを認識することを目的としている。 本稿では,OW-CZSLタスクの学習過程を模倣する,Progressive Cross-primitive Compatibility (ProCC) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-19T10:09:46Z)
• Learning Attention Propagation for Compositional Zero-Shot Learning [71.55375561183523]
  コンポジションアテンション・プロパゲード・エンベディング(CAPE)と呼ばれる新しい手法を提案する。 CAPEは、この構造を識別し、それらの間の知識を伝播して、目に見えないすべての構成に対するクラス埋め込みを学ぶ。 提案手法は,3つの公開ベンチマークに対して,新しい最先端のベンチマークを設定するために,従来のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T19:44:11Z)
• KG-SP: Knowledge Guided Simple Primitives for Open World Compositional Zero-Shot Learning [52.422873819371276]
  オープンワールドコンポジションゼロショット学習(OW-CZSL)の目的は、画像中の状態とオブジェクトの合成を認識することである。 ここでは、単純なCZSLベースラインを再検討し、プリミティブ、すなわち状態とオブジェクトを独立して予測する。 出力空間から不可能な構成を除去するために, 外部知識を用いて各構成の有効性を推定する。 我々のモデルであるKG-SPはOW-CZSLとpCZSLの両方で技術の状態を達成する。
  論文  参考訳（メタデータ） (2022-05-13T17:18:15Z)
• StyleT2I: Toward Compositional and High-Fidelity Text-to-Image Synthesis [52.341186561026724]
  構成性の欠如は、堅牢性と公正性に深刻な影響を及ぼす可能性がある。 テキスト対画像合成の合成性を改善するための新しいフレームワークであるStyleT2Iを導入する。 その結果,StyleT2Iは入力テキストと合成画像との整合性という点で従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-03-29T17:59:50Z)
• Learning Graph Embeddings for Open World Compositional Zero-Shot Learning [47.09665742252187]
  コンポジションゼロショット学習(CZSL)は、トレーニング中に見られる状態とオブジェクトの視覚的プリミティブの見えない構成を認識することを目的としている。 Co-CGE(Compositional Cosine Graph Embeddings)を提案する。 Co-CGEは、グラフ畳み込みニューラルネットワークを介して状態、オブジェクトおよびそれらの組成間の依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-05-03T17:08:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。