論文の概要: The Multi-Faceted Monosemanticity in Multimodal Representations

• arxiv url: http://arxiv.org/abs/2502.14888v1
• Date: Sun, 16 Feb 2025 14:51:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 02:51:39.178586
• Title: The Multi-Faceted Monosemanticity in Multimodal Representations
• Title（参考訳）: マルチモーダル表現における多面的単意味性
• Authors: Hanqi Yan, Xiangxiang Cui, Lu Yin, Paul Pu Liang, Yulan He, Yifei Wang,
• Abstract要約: 我々は、機能単意味性の最近の進歩を活用して、深いマルチモーダルモデルから解釈可能な特徴を抽出する。 以上の結果から,この分類は,異なるモダリティの認知的理解と密接に一致していることが明らかとなった。 これらの結果は、タスクに依存しない解釈可能性ツールを備えた大規模マルチモーダルモデルが、重要な接続と異なるモダリティの区別に関する貴重な洞察を提供することを示している。
• 参考スコア（独自算出の注目度）: 42.64636740703632
• License:
• Abstract: In this paper, we leverage recent advancements in feature monosemanticity to extract interpretable features from deep multimodal models, offering a data-driven understanding of modality gaps. Specifically, we investigate CLIP (Contrastive Language-Image Pretraining), a prominent visual-language representation model trained on extensive image-text pairs. Building upon interpretability tools developed for single-modal models, we extend these methodologies to assess multi-modal interpretability of CLIP features. Additionally, we introduce the Modality Dominance Score (MDS) to attribute the interpretability of each feature to its respective modality. Next, we transform CLIP features into a more interpretable space, enabling us to categorize them into three distinct classes: vision features (single-modal), language features (single-modal), and visual-language features (cross-modal). Our findings reveal that this categorization aligns closely with human cognitive understandings of different modalities. We also demonstrate significant use cases of this modality-specific features including detecting gender bias, adversarial attack defense and text-to-image model editing. These results indicate that large-scale multimodal models, equipped with task-agnostic interpretability tools, offer valuable insights into key connections and distinctions between different modalities.
• Abstract（参考訳）: 本稿では,多モードモデルから解釈可能な特徴を抽出し,データ駆動によるモダリティギャップの理解を提供する。 具体的には,CLIP(Contrastive Language- Image Pretraining)について検討する。 単一モーダルモデル向けに開発された解釈可能性ツールに基づいて,これらの手法を拡張し,CLIP特徴の多モーダル解釈可能性を評価する。 さらに、各特徴の解釈可能性を各モダリティに関連付けるために、MDS(Modality Dominance Score)を導入する。 次に、CLIP機能をより解釈可能な空間に変換することで、視覚機能(シングルモーダル)、言語機能(シングルモーダル)、視覚言語機能(クロスモーダル)の3つの異なるクラスに分類することができます。 以上の結果から,この分類は,異なるモダリティの認知的理解と密接に一致していることが明らかとなった。 また, 性別バイアスの検出, 対人攻撃防御, テキスト・ツー・イメージ・モデル編集など, モダリティに特有な特徴の有意な活用例を示した。 これらの結果は、タスクに依存しない解釈可能性ツールを備えた大規模マルチモーダルモデルが、重要な接続と異なるモダリティの区別に関する貴重な洞察を提供することを示している。

関連論文リスト

• FSMR: A Feature Swapping Multi-modal Reasoning Approach with Joint Textual and Visual Clues [20.587249765287183]
  Feature Swapping Multi-modal Reasoning (FSMR) モデルは、機能スワップによるマルチモーダル推論を強化するように設計されている。 FSMRにはマルチモーダル・クロスアテンション機構が組み込まれており、テキスト情報と視覚情報の共同モデリングを容易にする。 PMRデータセットの実験は、FSMRが最先端のベースラインモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-03-29T07:28:50Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• CLAP: Isolating Content from Style through Contrastive Learning with Augmented Prompts [11.752632557524969]
  コンテンツの特徴を元の表現から切り離すために,データ拡張によるコントラスト学習を提案する。 多様なデータセットを対象とした実験では、ゼロショットと少数ショットの分類タスクが大幅に改善された。
  論文  参考訳（メタデータ） (2023-11-28T03:00:59Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• MultiViz: An Analysis Benchmark for Visualizing and Understanding Multimodal Models [103.9987158554515]
  MultiVizは、解釈可能性の問題を4段階に足場化することで、マルチモーダルモデルの振る舞いを分析する手法である。 MultiVizの相補的な段階は、モデル予測をシミュレートし、機能に解釈可能な概念を割り当て、モデル誤分類のエラー解析を行い、エラー解析からモデルデバッグへの洞察を利用することを可能にする。
  論文  参考訳（メタデータ） (2022-06-30T18:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。