論文の概要: Structure-aware Prompt Adaptation from Seen to Unseen for Open-Vocabulary Compositional Zero-Shot Learning
- arxiv url: http://arxiv.org/abs/2603.03815v1
- Date: Wed, 04 Mar 2026 07:54:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-05 21:29:15.226579
- Title: Structure-aware Prompt Adaptation from Seen to Unseen for Open-Vocabulary Compositional Zero-Shot Learning
- Title(参考訳): オープン語彙構成ゼロショット学習のための構造認識型プロンプト適応
- Authors: Yihang Duan, Jiong Wang, Pengpeng Zeng, Ji Zhang, Lei Zhao, Chong Wang, Jingkuan Song, Lianli Gao,
- Abstract要約: 合成ゼロショット学習(OV-CZSL)の目的は、オープン語彙設定において反復対象の合成を認識することである。
本研究では,SPA(Structure-Aware Prompt Adaptation)法を提案する。
- 参考スコア(独自算出の注目度): 86.58227205147546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of Open-Vocabulary Compositional Zero-Shot Learning (OV-CZSL) is to recognize attribute-object compositions in the open-vocabulary setting, where compositions of both seen and unseen attributes and objects are evaluated. Recently, prompt tuning methods have demonstrated strong generalization capabilities in the closed setting, where only compositions of seen attributes and objects are evaluated, i.e., Compositional Zero-Shot Learning (CZSL). However, directly applying these methods to OV-CZSL may not be sufficient to generalize to unseen attributes, objects and their compositions, as it is limited to seen attributes and objects. Normally, when faced with unseen concepts, humans adopt analogies with seen concepts that have the similar semantics thereby inferring their meaning (e.g., "wet" and "damp", "shirt" and "jacket"). In this paper, we experimentally show that the distribution of semantically related attributes or objects tends to form consistent local structures in the embedding space. Based on the above structures, we propose Structure-aware Prompt Adaptation (SPA) method, which enables models to generalize from seen to unseen attributes and objects. Specifically, in the training stage, we design a Structure-aware Consistency Loss (SCL) that encourages the local structure's consistency of seen attributes and objects in each iteration. In the inference stage, we devise a Structure-guided Adaptation Strategy (SAS) that adaptively aligns the structures of unseen attributes and objects with those of trained seen attributes and objects with similar semantics. Notably, SPA is a plug-and-play method that can be seamlessly integrated into existing CZSL prompt tuning methods. Extensive experiments on OV-CZSL benchmarks demonstrate that SPA achieves competitive closed-set performance while significantly improving open-vocabulary results.
- Abstract(参考訳): Open-Vocabulary compositional Zero-Shot Learning (OV-CZSL)の目標は、オープン語彙設定において属性オブジェクトの合成を認識することである。
近年,コンポジションゼロショット学習 (CZSL) と呼ばれる,観測された属性やオブジェクトの合成のみが評価されるような,クローズドセッティングにおいて,プロンプトチューニング手法は強力な一般化能力を示している。
しかし、これらの手法をOV-CZSLに直接適用することは、見つからない属性やオブジェクト、それらの構成を一般化するのに十分ではないかもしれない。
通常、目に見えない概念に直面したとき、人間は類似した意味を持つ概念(例えば、"wet" や "damp" や "shirt" や "jacket" など)を推論する類似概念を採用する。
本稿では,意味的関連属性やオブジェクトの分布が,埋め込み空間において一貫した局所構造を形成する傾向があることを実験的に示す。
上記の構造をベースとしたSPA(Structure-Aware Prompt Adaptation)手法を提案する。
具体的には、トレーニング段階では、各イテレーションで見られる属性やオブジェクトの局所構造の一貫性を促進する構造対応一貫性損失(Structure-aware Consistency Loss:SCL)を設計する。
推論段階では、未知の属性やオブジェクトの構造と、類似した意味を持つトレーニング済みの属性やオブジェクトの構造を適応的に整合させる構造誘導適応戦略(SAS)を考案する。
特に、SPAは既存のCZSLプロンプトチューニングメソッドにシームレスに統合できるプラグイン・アンド・プレイ方式である。
OV-CZSLベンチマークの大規模な実験は、SPAが競合するクローズドセットのパフォーマンスを達成し、オープンボキャブラリの結果を大幅に改善することを示した。
関連論文リスト
- A Conditional Probability Framework for Compositional Zero-shot Learning [86.86063926727489]
合成ゼロショット学習(CZSL)は、既知の合成から知識を活用することで、既知のオブジェクトと属性の見知らぬ組み合わせを認識することを目的としている。
従来のアプローチは、主に属性とオブジェクトを分離することに焦点を当て、学習中にそれらを独立したエンティティとして扱う。
属性オブジェクトの依存関係を明示的にモデル化するために、条件付き確率フレームワーク(CPF)を採用しています。
論文 参考訳(メタデータ) (2025-07-23T10:20:52Z) - Compositional Zero-Shot Learning with Contextualized Cues and Adaptive Contrastive Training [17.893694262999826]
本稿では,コンポジションゼロショット学習(CZSL)における属性とオブジェクト(ULAO)の理解とリンクに関する新しい枠組みを紹介する。
ULAOは2つの革新的なモジュールから構成されている。理解属性とオブジェクト(UAO)モジュールは、逐次原始予測によって原始的理解を改善し、認識されたオブジェクトを属性分類の文脈的ヒントとして活用する。
Linking Attributes and Objects (LAO)モジュールは、調整されたハードネガティブ生成と適応的損失調整を含む新しいコントラスト学習戦略を通じて、属性オブジェクトのリンク理解を改善する。
論文 参考訳(メタデータ) (2024-12-10T03:41:20Z) - Graph-guided Cross-composition Feature Disentanglement for Compositional Zero-shot Learning [54.08741382593959]
合成ゼロショット学習(CZSL)において、プリミティブ(属性とオブジェクト)の視覚的特徴の歪みは例外的な結果を示した。
異なる構成にまたがる一般的な非絡み合った原始的特徴を学ぶことは困難である。
本稿では,複数のプリミティブ共有合成を入力として利用するクロスコンポジション特徴分散の解を提案する。
論文 参考訳(メタデータ) (2024-08-19T08:23:09Z) - Attention Based Simple Primitives for Open World Compositional Zero-Shot Learning [12.558701595138928]
合成ゼロショット学習(CZSL)は属性とオブジェクトペアからなる未知の合成を予測することを目的としている。
この研究では、私たちのテストスペースが属性とオブジェクトの潜在的な組み合わせをすべて包含するオープンワールド構成ゼロショット学習(OW-CZSL)を探求しています。
提案手法では, 属性とオブジェクト間の自己認識機構を利用して, 目に見えるものから見えないものまで, より優れた一般化を実現する。
論文 参考訳(メタデータ) (2024-07-18T17:11:29Z) - CSCNET: Class-Specified Cascaded Network for Compositional Zero-Shot
Learning [62.090051975043544]
属性とオブジェクト(A-O)の絡み合いは、合成ゼロショット学習(CZSL)の基本的かつ重要な問題である
CZSL(Class-specified Cascaded Network, CSCNet)のための新しいA-O不整合フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-09T14:18:41Z) - Learning Conditional Attributes for Compositional Zero-Shot Learning [78.24309446833398]
合成ゼロショット学習(CZSL)は、新しい合成概念を認識するためにモデルを訓練することを目的としている。
課題の1つは、異なる物体、例えば「濡れたリンゴ」と「濡れた猫」の属性をモデル化することである。
我々は、属性が認識対象と入力画像に条件付けされていることを議論し、条件付き属性の埋め込みを学習する。
論文 参考訳(メタデータ) (2023-05-29T08:04:05Z) - LOCL: Learning Object-Attribute Composition using Localization [13.820889273887454]
本稿では,合成ゼロショット学習を,乱雑で現実的な設定でオブジェクトに一般化するLOCLについて述べる。
鍵となる貢献は、弱教師付きコンテキストにおけるオブジェクトと属性のローカライズに対するモジュラーアプローチである。
論文 参考訳(メタデータ) (2022-10-07T18:48:45Z) - Learning Invariant Visual Representations for Compositional Zero-Shot
Learning [30.472541551048508]
合成ゼロショット学習 (CZSL) は,目に見える対象の合成から学習した知識を用いて,新しい構成を認識することを目的としている。
本稿では,異なる領域を表現レベルと勾配レベルで整列させる不変な特徴学習フレームワークを提案する。
2つのCZSLベンチマーク実験により,提案手法が従来の最先端技術よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2022-06-01T11:33:33Z) - Structure-Aware Feature Generation for Zero-Shot Learning [108.76968151682621]
潜在空間と生成ネットワークの両方を学習する際の位相構造を考慮し,SA-GANと呼ばれる新しい構造認識特徴生成手法を提案する。
本手法は,未確認クラスの一般化能力を大幅に向上させ,分類性能を向上させる。
論文 参考訳(メタデータ) (2021-08-16T11:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。