論文の概要: Interpreting CLIP with Sparse Linear Concept Embeddings (SpLiCE)

• arxiv url: http://arxiv.org/abs/2402.10376v2
• Date: Mon, 04 Nov 2024 17:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:04.289657
• Title: Interpreting CLIP with Sparse Linear Concept Embeddings (SpLiCE)
• Title（参考訳）: スパース線形概念埋め込み(SpLiCE)を用いたCLIPの解釈
• Authors: Usha Bhalla, Alex Oesterling, Suraj Srinivas, Flavio P. Calmon, Himabindu Lakkaraju,
• Abstract要約: ここでは,CLIPの潜在空間のセマンティック構造を利用して解釈可能であることを示す。 本稿では,CLIP表現を,人間の解釈可能な概念の疎線形結合に変換するための新しい手法Sparse Linear Concept Embeddingsを提案する。
• 参考スコア（独自算出の注目度）: 22.364723506539974
• License:
• Abstract: CLIP embeddings have demonstrated remarkable performance across a wide range of multimodal applications. However, these high-dimensional, dense vector representations are not easily interpretable, limiting our understanding of the rich structure of CLIP and its use in downstream applications that require transparency. In this work, we show that the semantic structure of CLIP's latent space can be leveraged to provide interpretability, allowing for the decomposition of representations into semantic concepts. We formulate this problem as one of sparse recovery and propose a novel method, Sparse Linear Concept Embeddings, for transforming CLIP representations into sparse linear combinations of human-interpretable concepts. Distinct from previous work, SpLiCE is task-agnostic and can be used, without training, to explain and even replace traditional dense CLIP representations, maintaining high downstream performance while significantly improving their interpretability. We also demonstrate significant use cases of SpLiCE representations including detecting spurious correlations and model editing.
• Abstract（参考訳）: CLIPの埋め込みは、幅広いマルチモーダルアプリケーションで顕著なパフォーマンスを示している。 しかし、これらの高次元密度ベクトル表現は容易に解釈できないため、CLIPのリッチな構造と、透明性を必要とする下流アプリケーションでの使用に対する理解が制限される。 本稿では,CLIPの潜在空間のセマンティック構造を利用して解釈可能性を提供し,表現を意味論的概念に分解することができることを示す。 本稿では、この問題をスパースリカバリの1つとして定式化し、人間の解釈可能な概念のスパースリニアな組み合わせにCLIP表現を変換する新しい手法であるスパースリニア概念埋め込みを提案する。 従来の作業とは違い、SpLiCEはタスクに依存しないため、トレーニングなしで従来のCLIP表現の説明や置き換えにも使用することができる。 また,スパーラス相関の検出やモデル編集など,SpLiCE表現の有効利用例を示した。

関連論文リスト

• Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning [53.685764040547625]
  トランスフォーマーベースの大規模言語モデル(LLM)は、卓越した創造力と出現能力を示している。 この研究は、トランスフォーマーが単語のマルチコンセプトセマンティクスをどのように活用し、強力なICLと優れたアウト・オブ・ディストリビューションICL能力を実現するかを示すための数学的解析を提供する。
  論文  参考訳（メタデータ） (2024-11-04T15:54:32Z)
• ClearCLIP: Decomposing CLIP Representations for Dense Vision-Language Inference [32.852004564832455]
  我々はCLIPのアーキテクチャを再検討し、残余接続をセグメンテーション品質を劣化させるノイズの主源として同定する。 オープン語彙セマンティックセグメンテーションを強化するためにCLIPの表現を分解する新しいアプローチであるClearCLIPを提案する。
  論文  参考訳（メタデータ） (2024-07-17T09:52:20Z)
• Concept Visualization: Explaining the CLIP Multi-modal Embedding Using WordNet [4.597864989500202]
  埋め込みのマルチモーダルな性質を利用して画像のCLIP埋め込みを説明する新しいサリエンシ手法を提案する。 ConVisはWordNetからの語彙情報を利用して、終末モデルがトレーニングした概念に限らず、あらゆる概念に対してタスク非依存のSaliency Mapsを計算している。
  論文  参考訳（メタデータ） (2024-05-23T13:41:17Z)
• Refining Skewed Perceptions in Vision-Language Models through Visual Representations [0.033483662989441935]
  大規模視覚言語モデル(VLM)は、様々な下流タスクで顕著な成功を収めている。 それらの利点にもかかわらず、これらのモデルは現実のデータの不均等な分布からバイアスを受け継ぎ、実際の環境に関する誤解を招く。 本研究では,CLIPの下流アプリケーションへの埋め込みから,単純な線形プローブを用いてタスク固有のコア特徴を効果的に抽出する方法について検討する。
  論文  参考訳（メタデータ） (2024-05-22T22:03:11Z)
• Demystifying Embedding Spaces using Large Language Models [26.91321899603332]
  本稿では,埋め込みをより解釈しやすく,広く活用する上での課題に対処する。 埋め込みを直接操作するためにLarge Language Models(LLMs)を用いることで、抽象ベクトルを理解可能な物語に変換する。 提案手法は,概念アクティベーションベクトル(CAV)の強化,新しい組み込みエンティティの通信,レコメンデーションシステムにおけるユーザの好みのデコードなど,多種多様なタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-06T05:27:28Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Global Knowledge Calibration for Fast Open-Vocabulary Segmentation [124.74256749281625]
  本稿では,各学習カテゴリの同義語群を生成するテキスト多様化戦略を提案する。 また,CLIPの汎用的な知識を維持するために,テキスト誘導型知識蒸留法を用いている。 提案手法は, 各種データセットに対して頑健な一般化性能を実現する。
  論文  参考訳（メタデータ） (2023-03-16T09:51:41Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。