論文の概要: Mutual Balancing in State-Object Components for Compositional Zero-Shot
Learning
- arxiv url: http://arxiv.org/abs/2211.10647v1
- Date: Sat, 19 Nov 2022 10:21:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 20:07:55.964602
- Title: Mutual Balancing in State-Object Components for Compositional Zero-Shot
Learning
- Title(参考訳): 合成ゼロショット学習のための状態物体成分の相互バランス
- Authors: Chenyi Jiang (1), Dubing Chen (1), Shidong Wang (2), Yuming Shen (3),
Haofeng Zhang (1), Ling Shao (4) ((1) Nanjing University of Science and
Technology, (2) University of Newcastle-upon-Tyne, (3) University of Oxford,
(4) Terminus Group, Beijing, China)
- Abstract要約: 合成ゼロショット学習(CZSL)は、目に見えない状態や物体から未知の合成を認識することを目的としている。
そこで本研究では,CZSLのSTate-Object Components (MUST) におけるMUtual Balanceと呼ばれる新しい手法を提案する。
我々のアプローチは、MIT-States、UT-Zappos、C-GQAといった基本的なCZSLフレームワークと組み合わせることで、最先端のCZSLよりも大幅に優れています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compositional Zero-Shot Learning (CZSL) aims to recognize unseen compositions
from seen states and objects. The disparity between the manually labeled
semantic information and its actual visual features causes a significant
imbalance of visual deviation in the distribution of various object classes and
state classes, which is ignored by existing methods. To ameliorate these
issues, we consider the CZSL task as an unbalanced multi-label classification
task and propose a novel method called MUtual balancing in STate-object
components (MUST) for CZSL, which provides a balancing inductive bias for the
model. In particular, we split the classification of the composition classes
into two consecutive processes to analyze the entanglement of the two
components to get additional knowledge in advance, which reflects the degree of
visual deviation between the two components. We use the knowledge gained to
modify the model's training process in order to generate more distinct class
borders for classes with significant visual deviations. Extensive experiments
demonstrate that our approach significantly outperforms the state-of-the-art on
MIT-States, UT-Zappos, and C-GQA when combined with the basic CZSL frameworks,
and it can improve various CZSL frameworks. Our codes are available on
https://anonymous.4open.science/r/MUST_CGE/.
- Abstract(参考訳): 合成ゼロショット学習(CZSL)は、見えない状態や物体から見えない構成を認識することを目的としている。
手動でラベル付けされたセマンティック情報と実際の視覚的特徴の相違は、様々なオブジェクトクラスと状態クラスの分布における視覚的偏差のかなりの不均衡を引き起こす。
これらの課題を改善するために、CZSLタスクを非バランスなマルチラベル分類タスクとみなし、モデルに帰納バイアスを与えるCZSLのSTate-object Components(MUST)におけるMUSTと呼ばれる新しい手法を提案する。
特に,構成クラスを2つの連続的なプロセスに分割し,2つのコンポーネントの絡み合いを分析し,その2つのコンポーネント間の視覚的差異の程度を反映した追加知識を得る。
得られた知識をモデルトレーニングプロセスの修正に利用して,視覚的差異の大きいクラスに対して,より明確なクラス境界を生成する。
大規模な実験により、MIT-States、UT-Zappos、C-GQAの基本的なCZSLフレームワークと組み合わせた場合、我々のアプローチは最先端のCZSLフレームワークを著しく上回り、様々なCZSLフレームワークを改善できることが示された。
私たちのコードはhttps://anonymous.4open.science/r/MUST_CGE/で利用可能です。
関連論文リスト
- Cross-composition Feature Disentanglement for Compositional Zero-shot Learning [49.919635694894204]
合成ゼロショット学習(CZSL)において、プリミティブ(属性とオブジェクト)の視覚的特徴の歪みは例外的な結果を示した。
本稿では,複数のプリミティブ・シェアリング・コンポジションを入力とし,これらのコンポジションにまたがって一般化されるような不整合プリミティブ・コンポジションを制約するクロス・コンポジション・コンストラクション・ディエンタングルメントの解を提案する。
論文 参考訳(メタデータ) (2024-08-19T08:23:09Z) - Revealing the Proximate Long-Tail Distribution in Compositional
Zero-Shot Learning [20.837664254230567]
合成ゼロショット学習(CZSL)は、目に見える状態オブジェクト対から新しいペアへ知識を伝達することを目的としている。
状態オブジェクトの組み合わせの予測によって引き起こされる視覚バイアスは、識別可能なクラスプロトタイプの学習を妨げる視覚的特徴を曖昧にする。
CZSLの長尾分布におけるクラスの役割を数学的に推定する。
この知見に基づいて, 合成による視覚的偏見を分類器の訓練と推定に組み入れ, 事前の近似クラスとして推定する。
論文 参考訳(メタデータ) (2023-12-26T07:35:02Z) - Hierarchical Visual Primitive Experts for Compositional Zero-Shot
Learning [52.506434446439776]
合成ゼロショット学習(CZSL)は、既知のプリミティブ(属性とオブジェクト)の事前知識で構成を認識することを目的としている。
このような問題に対処するために,コンポジショントランスフォーマー(CoT)と呼ばれるシンプルでスケーラブルなフレームワークを提案する。
提案手法は,MIT-States,C-GQA,VAW-CZSLなど,いくつかのベンチマークでSoTA性能を実現する。
論文 参考訳(メタデータ) (2023-08-08T03:24:21Z) - Prompting Language-Informed Distribution for Compositional Zero-Shot Learning [73.49852821602057]
合成ゼロショット学習(CZSL)タスクは、目に見えない合成視覚概念を認識することを目的としている。
本稿では,タスクに対して言語インフォームド分布(PLID)を指示するモデルを提案する。
MIT-States、UT-Zappos、C-GQAデータセットの実験結果は、PLIDの先行技術よりも優れた性能を示している。
論文 参考訳(メタデータ) (2023-05-23T18:00:22Z) - Siamese Contrastive Embedding Network for Compositional Zero-Shot
Learning [76.13542095170911]
合成ゼロショット学習(CZSL)は、学習中に目に見える状態と対象から形成される見えない構成を認識することを目的としている。
本稿では,未知の合成認識のための新しいSiamese Contrastive Embedding Network(SCEN)を提案する。
提案手法は,3つの挑戦的ベンチマークデータセットに対して,最先端のアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2022-06-29T09:02:35Z) - Disentangled Ontology Embedding for Zero-shot Learning [39.014714187825646]
知識グラフ(KG)とその変種オントロジーは知識表現に広く用いられており、ゼロショット学習(ZSL)の増強に非常に有効であることが示されている。
KGsを利用する既存のZSL法は、KGsで表されるクラス間関係の複雑さを全て無視する。
本稿では,ZSLの拡張に焦点をあて,意味的特性によって導かれる絡み合ったオントロジーの埋め込みを学習することを提案する。
また、生成モデルとグラフ伝搬モデルに基づく2つの新しいZSLソリューションを含む、DOZSLという新しいZSLフレームワークをコントリビュートする。
論文 参考訳(メタデータ) (2022-06-08T08:29:30Z) - KG-SP: Knowledge Guided Simple Primitives for Open World Compositional
Zero-Shot Learning [52.422873819371276]
オープンワールドコンポジションゼロショット学習(OW-CZSL)の目的は、画像中の状態とオブジェクトの合成を認識することである。
ここでは、単純なCZSLベースラインを再検討し、プリミティブ、すなわち状態とオブジェクトを独立して予測する。
出力空間から不可能な構成を除去するために, 外部知識を用いて各構成の有効性を推定する。
我々のモデルであるKG-SPはOW-CZSLとpCZSLの両方で技術の状態を達成する。
論文 参考訳(メタデータ) (2022-05-13T17:18:15Z) - OntoZSL: Ontology-enhanced Zero-shot Learning [19.87808305218359]
Zero-shot Learning(ZSL)の実装の鍵は、クラス間の意味的な関係を構築するクラスの以前の知識を活用することです。
本稿では,zslのクラス間関係をモデル化するために,より豊かで競争力の高い事前知識を探索する。
目に見えないクラス間のデータ不均衡に対処するため,GAN(Generative Adversarial Networks)を用いた生成型ZSLフレームワークを開発した。
論文 参考訳(メタデータ) (2021-02-15T04:39:58Z) - Information Bottleneck Constrained Latent Bidirectional Embedding for
Zero-Shot Learning [59.58381904522967]
本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。
視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。
本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
論文 参考訳(メタデータ) (2020-09-16T03:54:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。