論文の概要: Semantic Leakage from Image Embeddings

• arxiv url: http://arxiv.org/abs/2601.22929v2
• Date: Mon, 02 Feb 2026 09:20:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 15:03:50.890952
• Title: Semantic Leakage from Image Embeddings
• Title（参考訳）: 画像埋め込みによる意味漏洩
• Authors: Yiyi Chen, Qiongkai Xu, Desmond Elliott, Qiongxiu Li, Johannes Bjerva,
• Abstract要約: 意味リークは,元の画像の正確な再構築を必要としないことを示す。 本稿では,スタンドアロンの圧縮画像埋め込みからの意味情報を明らかにする軽量な推論フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.36179164881091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image embeddings are generally assumed to pose limited privacy risk. We challenge this assumption by formalizing semantic leakage as the ability to recover semantic structures from compressed image embeddings. Surprisingly, we show that semantic leakage does not require exact reconstruction of the original image. Preserving local semantic neighborhoods under embedding alignment is sufficient to expose the intrinsic vulnerability of image embeddings. Crucially, this preserved neighborhood structure allows semantic information to propagate through a sequence of lossy mappings. Based on this conjecture, we propose Semantic Leakage from Image Embeddings (SLImE), a lightweight inference framework that reveals semantic information from standalone compressed image embeddings, incorporating a locally trained semantic retriever with off-the-shelf models, without training task-specific decoders. We thoroughly validate each step of the framework empirically, from aligned embeddings to retrieved tags, symbolic representations, and grammatical and coherent descriptions. We evaluate SLImE across a range of open and closed embedding models, including GEMINI, COHERE, NOMIC, and CLIP, and demonstrate consistent recovery of semantic information across diverse inference tasks. Our results reveal a fundamental vulnerability in image embeddings, whereby the preservation of semantic neighborhoods under alignment enables semantic leakage, highlighting challenges for privacy preservation.1
• Abstract（参考訳）: 画像埋め込みは一般的に、プライバシー上のリスクが制限されると考えられている。 圧縮画像埋め込みから意味構造を復元する機能として意味リークを形式化し,この仮定に挑戦する。 意外なことに、意味的漏洩は元の画像の正確な再構築を必要としない。 埋め込みアライメント下で局所的なセマンティックな近傍を保存することは、画像埋め込みの本質的な脆弱性を明らかにするのに十分である。 重要なことに、この保存された近傍構造は、意味情報を損失の少ない写像の列を通じて伝播させることを可能にする。 この予想に基づいて,SLImE(Semantic Leakage from Image Embeddings)を提案する。SLImEは,タスク固有のデコーダを訓練することなく,ローカルにトレーニングされたセマンティックレトリバーを市販のモデルに組み込むことにより,スタンドアロンの圧縮画像埋め込みから意味情報を明らかにする軽量な推論フレームワークである。 フレームワークの各ステップを,階層的な埋め込みから検索されたタグ,記号表現,文法的かつ一貫性のある記述に至るまで,徹底的に検証する。 我々は、GEMINI、COHERE、NOMIC、CLIPを含む、オープンおよびクローズドな埋め込みモデルにおけるSLImEを評価し、多様な推論タスクにおける意味情報の一貫した回復を示す。 その結果,画像埋め込みの根本的な脆弱性が明らかとなり,アライメント中のセマンティック・エリアの保存はセマンティック・リークを可能にし,プライバシー保護の課題を浮き彫りにした。

関連論文リスト

• CapRecover: A Cross-Modality Feature Inversion Attack Framework on Vision Language Models [11.201984255831126]
  CapRecoverは、ラベルやキャプションなどの高レベルのセマンティックコンテンツを、画像再構成なしで中間機能から直接復元する。 本稿では,各層における中間機能にランダムノイズを付加し,次層におけるノイズを除去する,シンプルで効果的な保護手法を提案する。
  論文  参考訳（メタデータ） (2025-07-30T16:42:02Z)
• Semantic-Syntactic Discrepancy in Images (SSDI): Learning Meaning and Order of Features from Natural Images [7.148054923510877]
  画像意味論」と「画像構文」からなる「画像文法」の概念を提案する。 自然画像のみから視覚要素や環境の画像文法を学習するための半教師付き2段階手法を提案する。 提案手法の有効性は,CelebA および SUN-RGBD データセットから生成された破損に対して,70% から90% までの検出率を達成することによって実証される。
  論文  参考訳（メタデータ） (2024-01-31T00:16:02Z)
• EmerDiff: Emerging Pixel-level Semantic Knowledge in Diffusion Models [52.3015009878545]
  我々は、追加の訓練をすることなく、きめ細かなセグメンテーションマップを生成できる画像セグメンタを開発した。 低次元特徴写像の空間的位置と画像画素間の意味的対応を同定する。 大規模な実験では、生成したセグメンテーションマップがよく説明され、画像の細部を捉えることが示されている。
  論文  参考訳（メタデータ） (2024-01-22T07:34:06Z)
• Exploring Set Similarity for Dense Self-supervised Representation Learning [96.35286140203407]
  本研究では,高密度自己教師型表現学習のためのtextbfset textbfsimilarity (SetSim) を提案する。 ピクセルワイドの類似性学習をセットワイドに一般化し,よりセマンティックな情報や構造的な情報を含むため,ロバスト性を向上させる。 具体的には、ビューの注意的特徴に頼って対応する集合を定め、不適切な対応を引き起こす可能性のあるノイズの多い背景をフィルタリングする。
  論文  参考訳（メタデータ） (2021-07-19T09:38:27Z)
• Context-Aware Image Inpainting with Learned Semantic Priors [100.99543516733341]
  欠落した内容を推定するために意味的に意味のある前文タスクを導入する。 本研究では,グローバルなセマンティクスと局所的な特徴を適応的に統合した文脈認識型画像インパインティングモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-14T08:09:43Z)
• Image Inpainting Guided by Coherence Priors of Semantics and Textures [62.92586889409379]
  セマンティクスとテクスチャ間のコヒーレンスプリエンスを導入することにより、セマンティクス的な方法で別々のテクスチャを完成させることに集中できる。 また,全体構造と詳細なテクスチャの観点から,セマンティクスとインペインテッドイメージの一貫性を制約する2つのコヒーレンス損失を提案する。
  論文  参考訳（メタデータ） (2020-12-15T02:59:37Z)
• Edge Guided GANs with Contrastive Learning for Semantic Image Synthesis [194.1452124186117]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 我々のECGANは最先端の手法よりもはるかに優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-03-31T01:23:21Z)
• Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval [15.955284712628444]
  本稿では,ZS-SBIRのためのプログレッシブドメイン独立型特徴分解(PDFD)ネットワークを提案する。 具体的には、PDFDは、視覚的特徴をドメインの特徴と意味的特徴に分解し、その意味的特徴をZS-SBIRの検索機能として共通空間に投影する。
  論文  参考訳（メタデータ） (2020-03-22T12:07:23Z)
• Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes [54.836331922449666]
  本稿では,SGE-Net(Semantic Guidance and Evaluation Network)を提案する。 セマンティックセグメンテーションマップをインペイントの各尺度のガイダンスとして利用し、そこで位置依存推論を再評価する。 混合シーンの現実画像に対する実験により,提案手法が最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-03-15T17:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。