論文の概要: Provable Cross-Modal Transfer of Hierarchical Concept Structure in CLIP Embeddings
- arxiv url: http://arxiv.org/abs/2611.17671v1
- Date: Fri, 13 Nov 2026 02:34:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.292592
- Title: Provable Cross-Modal Transfer of Hierarchical Concept Structure in CLIP Embeddings
- Title(参考訳): CLIPエンベディングにおける階層的概念構造の予測的相互伝達
- Abstract要約: CLIPのような対照的な視覚言語モデルは、表現するのではなく、画像とテキストをアライメントするように訓練されている。
しかし、実証的研究により、CLIPの埋め込みは意味論的概念の階層構造に沿った階層構造を示すことが示された。
この現象を階層的角分離(HAS)として定式化し、各非リーフ概念の埋め込みはオフブランチ概念よりもその子孫に類似している。
- 参考スコア(独自算出の注目度): 37.06815255151734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive vision-language models such as CLIP are trained to align images and text, not to represent taxonomies. Yet empirical studies show that CLIP embeddings exhibit hierarchical structure aligned with the hierarchy of semantic concepts. A theoretical characterization of why such hierarchy emerges from a non-hierarchical objective remains open. In this paper, we formalize this phenomenon as Hierarchical Angular Separation (HAS), a geometric property whereby each non-leaf concept embedding is more similar to its descendants than to off-branch concepts. Empirically, we show that HAS holds approximately in raw images and randomly initialized CLIP image embeddings, while in text embeddings it holds approximately only after contrastive learning. To theoretically explain this asymmetry, we analyze an unconstrained features model in which the image embeddings are fixed and only the text embeddings are trained. At the global minimizer, the text-side HAS violation percentage at each node is at most the image-side HAS violation and near-violation percentage. The key mechanism is the hierarchical co-occurrence structure of image-text pairs, which biases text embeddings toward root-centered image prototypes. For a linear contrastive loss, we derive a closed-form solution that makes this mechanism explicit. We extend the analysis to the InfoNCE loss and establish analogous guarantees under sufficient regularization. Synthetic experiments validate the theory and show that HAS is transferred even beyond the regimes covered by our analysis.
- Abstract(参考訳): CLIPのような対照的な視覚言語モデルは、分類学を表すのではなく、画像とテキストを調整するように訓練されている。
しかし、実証的研究により、CLIPの埋め込みは意味論的概念の階層構造に沿った階層構造を示すことが示された。
そのような階層構造が非階層的目的から現れる理由の理論的特徴は、まだ未開のままである。
本稿では,この現象を階層的角分離(HAS)として定式化する。
実験により,HASは生画像とランダムに初期化したCLIP画像の埋め込みに,テキスト埋め込みではコントラスト学習後にのみ保持することを示した。
この非対称性を理論的に説明するために、画像埋め込みが固定され、テキスト埋め込みのみが訓練される制約のない特徴モデルを分析する。
グローバル最小化器では、各ノードにおけるテキスト側HAS違反率は、画像側HAS違反率とほぼ違反率である。
鍵となるメカニズムは、画像とテキストのペアの階層的共起構造である。
線形コントラスト損失に対しては、この機構を明示する閉形式解を導出する。
解析をInfoNCEの損失にまで拡張し、十分な正規化の下で類似した保証を確立する。
合成実験は、この理論を検証し、HASが我々の分析によってカバーされる体制を超えて移動されていることを示す。
関連論文リスト
- Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models [105.53190946111586]
我々はこの現象をオブジェクト依存概念の脆さと呼ぶ。
これらの障害を監査し、最小限に修正する、解釈可能性指向のフレームワークを提案する。
複数の拡散バックボーンにまたがるスタイルと属性の故障事例について,提案手法の評価を行った。
論文 参考訳(メタデータ) (2026-09-09T09:07:40Z) - Disentangling Hallucinations: Orthogonal Semantic Projection for Robust Interpretability [13.913790302632018]
視覚言語モデルのための説明可能なAI手法は、しばしば意味幻覚に悩まされることを示す。
この現象は単一のアーキテクチャに固有のものではなく、線形セマンティックリークによる根本的な結果である。
我々は,OMPの残差特性を利用して,共有概念から独自の意味信号を切り離す幾何学的介入であるOrthogonal-Semantic-Projection(OSP)を紹介する。
論文 参考訳(メタデータ) (2026-06-08T09:48:30Z) - Overcoming the Impedance Mismatch: A Theoretical Roadmap for Fusing Foundation Models and Knowledge Graphs [0.0]
構造的および幾何学的摩擦をtextitImpedance Mismatch として定式化する。
本稿では,真の意味融合を実現するための厳密な理論的ロードマップを提案する。
このフレームワークは、シンボリック論理の精度をパラメトリックメモリの表現率とシームレスに融合するモデルを構築する。
論文 参考訳(メタデータ) (2026-04-21T17:30:15Z) - ARGENT: Adaptive Hierarchical Image-Text Representations [12.724220731465392]
本稿では,より強力な双曲型VLMベースラインARGENT,Adaptive hieRarchical imaGe-tExt rereseNTationを導入する。
本稿では,より強力な双曲型VLMベースラインARGENT,Adaptive hieRarchical imaGe-tExt rereseNTationを提案する。
論文 参考訳(メタデータ) (2026-03-24T15:14:12Z) - Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification [39.219841379322716]
解釈可能な設計モデルは、予測に忠実な説明を提供するため、コンピュータビジョンにおいて勢いを増している。
提案する階層型概念埋め込み・探索(HCEP)は,潜在空間における概念埋め込みの階層構造を誘導するフレームワークである。
HCEPは, 競争的分類精度を維持しつつ, 概念精度とリコールにおいて, ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2026-02-11T23:53:15Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳(メタデータ) (2025-03-11T17:59:41Z) - Learning Visual-Semantic Subspace Representations [49.17165360280794]
我々は,自己教師型学習に有効な情報理論の原理を基礎として,核ノルムに基づく損失関数を導入する。
この損失の理論的特徴として、クラス性の促進に加えて、部分空間格子内のデータのスペクトル幾何学を符号化していることを示す。
論文 参考訳(メタデータ) (2024-05-25T12:51:38Z) - Progressive Tree-Structured Prototype Network for End-to-End Image
Captioning [74.8547752611337]
本稿では,新しいプログレッシブツリー構造型プロトタイプネットワーク(PTSN)を提案する。
PTSNは、階層的テキスト意味論をモデル化することによって、適切な意味論で予測語の範囲を狭める最初の試みである。
提案手法は,144.2%(シングルモデル),146.5%(4モデルのアンサンブル),141.4%(c5),143.9%(c40)のCIDErを公式オンラインテストサーバ上でスコアする。
論文 参考訳(メタデータ) (2022-11-17T11:04:00Z) - Structural-analogy from a Single Image Pair [118.61885732829117]
本稿では,1対の画像A,Bのみを用いて,ニューラルネットワークによる画像構造理解能力について検討する。
我々は、B の外観とスタイルを保持するが、A に対応する構造的配置を持つ画像を生成する。
提案手法は,画像AとBのみを利用した条件生成タスクにおいて,高品質な画像を生成するために利用できる。
論文 参考訳(メタデータ) (2020-04-05T14:51:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。