論文の概要: Composite Concept Extraction through Backdooring
- arxiv url: http://arxiv.org/abs/2406.13411v2
- Date: Fri, 21 Jun 2024 04:11:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 12:24:18.779622
- Title: Composite Concept Extraction through Backdooring
- Title(参考訳): バックドアによる複合概念抽出
- Authors: Banibrata Ghosh, Haripriya Harikumar, Khoa D Doan, Svetha Venkatesh, Santu Rana,
- Abstract要約: 本稿では,複合概念エクストラクタ(CoCE)と呼ばれる新しい手法を紹介する。
CoCEは従来のバックドア攻撃のテクニックを活用して、ゼロショット環境で複合概念を学習する。
異なるデータセットにわたる詳細な分析実験により、提案手法の有用性と適用性を示す。
- 参考スコア(独自算出の注目度): 44.92190749456884
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning composite concepts, such as \textquotedbl red car\textquotedbl , from individual examples -- like a white car representing the concept of \textquotedbl car\textquotedbl{} and a red strawberry representing the concept of \textquotedbl red\textquotedbl -- is inherently challenging. This paper introduces a novel method called Composite Concept Extractor (CoCE), which leverages techniques from traditional backdoor attacks to learn these composite concepts in a zero-shot setting, requiring only examples of individual concepts. By repurposing the trigger-based model backdooring mechanism, we create a strategic distortion in the manifold of the target object (e.g., \textquotedbl car\textquotedbl ) induced by example objects with the target property (e.g., \textquotedbl red\textquotedbl ) from objects \textquotedbl red strawberry\textquotedbl , ensuring the distortion selectively affects the target objects with the target property. Contrastive learning is then employed to further refine this distortion, and a method is formulated for detecting objects that are influenced by the distortion. Extensive experiments with in-depth analysis across different datasets demonstrate the utility and applicability of our proposed approach.
- Abstract(参考訳): 例えば、"textquotedbl red car\textquotedbl"という概念を表す白い車や、"textquotedbl red\textquotedbl"という概念を表す赤いイチゴなどです。
本稿では,従来のバックドアアタックのテクニックを活用して,これらの概念をゼロショットで学習する複合概念エクストラクタ(CoCE)を提案する。
トリガベースのモデルバックドア機構を再利用することにより、対象物(eg , \textquotedbl car\textquotedbl )が対象物(eg , \textquotedbl red\textquotedbl )によって誘導される対象物(eg , \textquotedbl red\textquotedbl )の多様体における戦略的歪みを、対象物(textquotedbl red strawberry\textquotedbl )から生成し、歪みが対象物(ターゲット物)に選択的に影響することを保証する。
次に、この歪みをさらに洗練するためにコントラスト学習を用い、歪みに影響された物体を検出する方法が定式化されている。
異なるデータセットをまたいだ詳細な分析による広範囲な実験は、提案手法の有用性と適用性を示している。
関連論文リスト
- Boosting Weakly-Supervised Referring Image Segmentation via Progressive Comprehension [40.21084218601082]
本稿では、画像とテキストのペアから直接ターゲットのローカライゼーションを学習する、困難な設定に焦点を当てる。
そこで本研究では,対象対象対象の局所化にターゲット関連テキストキューを活用する新しいプログレッシブネットワーク(PCNet)を提案する。
本手法は3つのベンチマークでSOTA法より優れている。
論文 参考訳(メタデータ) (2024-10-02T13:30:32Z) - T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy [19.847227079624716]
T-Rex2は、オープンセットオブジェクト検出のための非常に実用的なモデルである。
対照的な学習を通じて、単一のモデル内でテキストと視覚的なプロンプトを相乗化します。
幅広いシナリオにまたがって、目覚ましいゼロショットオブジェクト検出機能を備えている。
論文 参考訳(メタデータ) (2024-03-21T17:57:03Z) - FLIRT: Feedback Loop In-context Red Teaming [79.63896510559357]
ブラックボックスモデルを評価し,その脆弱性を明らかにする自動レッドチーム化フレームワークを提案する。
私たちのフレームワークは、レッドチームモデルに対するフィードバックループでコンテキスト内学習を使用し、それらを安全でないコンテンツ生成にトリガーします。
論文 参考訳(メタデータ) (2023-08-08T14:03:08Z) - Relational Contrastive Learning for Scene Text Recognition [22.131554868199782]
従来の文脈情報は、異種テキストや背景から、テキストプリミティブの関係と解釈できると論じる。
本稿では,再構成,階層化,インタラクションによるテキスト関係の強化と,RCLSTR: Contrastive Learning for Scene Text Recognitionと呼ばれる統合フレームワークの設計を提案する。
論文 参考訳(メタデータ) (2023-08-01T12:46:58Z) - BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid
Counterfactual Training for Robust Content-based Image Retrieval [61.803481264081036]
CIR(Content-Based Image Retrieval)は,サンプル画像と補完テキストの合成を同時に解釈することで,対象画像の検索を目的とする。
本稿では,新しいアンダーラインtextbfBottom-up crunderlinetextbfOss-modal underlinetextbfSemantic compounderlinetextbfSition (textbfBOSS) とHybrid Counterfactual Training frameworkを用いてこの問題に取り組む。
論文 参考訳(メタデータ) (2022-07-09T07:14:44Z) - Cross-Modal Graph with Meta Concepts for Video Captioning [101.97397967958722]
ビデオキャプションのためのメタ概念を用いたクロスモーダルグラフ(CMG)を提案する。
ビデオキャプションで有用な意味概念を網羅するために、テキスト記述のための対応する視覚領域を弱く学習する。
我々は、予測された述語を用いて、全体的ビデオレベルおよび局所的フレームレベルのビデオグラフを構築し、ビデオシーケンス構造をモデル化する。
論文 参考訳(メタデータ) (2021-08-14T04:00:42Z) - Adversarial Semantic Collisions [129.55896108684433]
意味的衝突:意味論的に無関係だが、NLPモデルにより類似と判断されるテキストについて検討する。
我々は,意味的衝突を生成するための勾配に基づくアプローチを開発した。
パープレキシティに基づくフィルタリングを避けるために,意味的衝突を生成する方法を示す。
論文 参考訳(メタデータ) (2020-11-09T20:42:01Z) - COBE: Contextualized Object Embeddings from Narrated Instructional Video [52.73710465010274]
そこで本稿では,教師ビデオの自動書き起こしからコンテキスト適応型オブジェクト埋め込みを学習するための新しいフレームワークを提案する。
言語の意味的・構成的構造を視覚的検知器を訓練し,オブジェクトとその関連するナレーションの文脈的単語埋め込みを予測する。
実験の結果,検出器は多種多様なコンテキストオブジェクト情報を予測し,少数ショットおよびゼロショット学習の設定において極めて有効であることがわかった。
論文 参考訳(メタデータ) (2020-07-14T19:04:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。