論文の概要: Same Concept, Different Directions: Cross-Modal Feature Heterogeneity in Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2606.29888v1
• Date: Mon, 29 Jun 2026 07:27:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.093396
• Title: Same Concept, Different Directions: Cross-Modal Feature Heterogeneity in Sparse Autoencoders
• Title（参考訳）: 異なる方向の同じ概念:スパースオートエンコーダにおけるクロスモーダル特徴の不均一性
• Abstract要約: 視覚言語モデルは、画像とテキストを共同埋め込み空間にマッピングする。 これらの埋め込みは、しばしば複数の意味的特徴を絡み合わせ、解釈可能性と制御性を制限する。 モータリティ固有のスパースオートエンコーダを訓練し,各モータリティの特徴幾何を保存し,それに対応する特徴をホック後に整列させる手法を提案する。
• 参考スコア（独自算出の注目度）: 11.191047696392026
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision-language models map images and text into a joint embedding space. However, these embeddings often entangle multiple semantic features, which limits their interpretability and controllability. While sparse autoencoders have emerged as a useful tool for decomposing these embeddings into monosemantic features, their application to joint embedding spaces has largely relied on an implicit, untested assumption that semantically corresponding features share the same directions across modalities. In this paper, we challenge this assumption by identifying discrepancies in feature directions for the same concept across image and text modalities, a phenomenon we term cross-modal feature heterogeneity. We demonstrate that this heterogeneity is a key driver of the modality split, where a shared concept activates different latents depending on the modality. This finding further reveals why aligning latent activations alone is insufficient to resolve the underlying feature mismatch. Motivated by this observation, we propose an approach that trains modality-specific sparse autoencoders to preserve each modality's feature geometry, and then aligns corresponding features post hoc. Our method improves reconstruction fidelity and enhances performance in cross-modal retrieval and concept steering.
• Abstract（参考訳）: 視覚言語モデルは、画像とテキストを共同埋め込み空間にマッピングする。 しかし、これらの埋め込みはしばしば複数の意味的特徴を絡み合わせ、解釈可能性と制御性を制限する。 スパースオートエンコーダは、これらの埋め込みをモノセマンティックな特徴に分解する有用なツールとして現れてきたが、それらの統合埋め込み空間への応用は、意味論的に対応する特徴がモダリティを越えて同じ方向を共有するという暗黙的、未検証の仮定に大きく依存している。 本稿では,画像やテキストのモダリティにまたがる同じ概念に対して,特徴方向における不一致を識別することで,この仮定に挑戦する。 この不均一性はモダリティ分割の鍵となる要因であり、共有概念はモダリティによって異なるラテントを活性化する。 この発見は、遅延アクティベーションを単独で調整することが、基礎となる機能ミスマッチを解決するのに不十分である理由をさらに明らかにしている。 本研究は,モータリティ固有のスパースオートエンコーダを訓練し,各モータリティの特徴幾何を保存し,それに対応する特徴をポストホックで整列させる手法を提案する。 提案手法は, クロスモーダル検索およびコンセプトステアリングにおいて, 再現性を改善し, 性能を向上させる。

関連論文リスト

• Do Unified Multimodal Models Think in One Space? A Lens Through Cross-Branch Steering [7.62772056485722]
  一方の枝から意味的方向を抽出し,他方の枝に応用する介入型フレームワークであるEmphcross-branchセマンティックステアリングを導入する。 理解分岐から学習したステアリングベクトルが生成に遷移し、制御可能な画像合成を可能にし、意味的忠実性を向上させることができることを示す。 この結果から,アーキテクチャ統合は意味的アライメントを保証せず,マルチモーダル表現を探索するための実用的なツールとしてクロスブランチステアリングを確立することが判明した。
  論文  参考訳（メタデータ） (2026-07-29T02:46:20Z)
• When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities [10.807285909852277]
  本稿では,視覚的モダリティにおける意味的,空間的両面から概念整合性を実現する構造化スパースオートエンコーダ(S2AE$)を提案する。 我々はトランスフォーマーの注意類似度と空間的近接度に基づいて画像パッチをグループ化し,バニラSAEを訓練する際,構造的空間正規化を導入する。 正規化は、グループ間概念の絡み合いのための排他的間隔とグループ間概念の整合性のためのグループ間隔から構成される。
  論文  参考訳（メタデータ） (2026-07-09T15:35:08Z)
• Variational Adapter for Cross-modal Similarity Representation [2.0621012870194755]
  クロスモーダル類似表現(VACSR)のための変分適応器を提案する。 画像テキストマッチングと微細な意味的不足を変分推論問題として再構成する。 クロスモーダルな類似性のための潜在空間を構築し、正規化技術を使用してバイナリアノテーションへのオーバーフィットを軽減する。
  論文  参考訳（メタデータ） (2026-05-29T08:08:15Z)
• Semantic Optimal Transport for Sparse Autoencoder Feature Matching and Circuit Compression [11.444432919120173]
  スケールが難しい2つの主要なSAE分析は、多層膜にまたがる意味論的に類似した特徴をマッチングし、大きな特徴回路を解釈可能なスーパーノードに圧縮することである。 この問題に対して,各特徴は文献のように単一デコーダベクトルではなく,それを表現した隠蔽状態上の活性化重み付き分布によって表現される。 我々は、我々の表現が活性化再スケーリングに不変であり、摂動下で安定であり、有限サンプルマージン条件下で真の一致を回復することを証明する。
  論文  参考訳（メタデータ） (2026-05-27T14:54:58Z)
• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• Anisotropic Modality Align [91.23979617826926]
  マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。 近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。 中心となる障害は、共有空間の永続的なモダリティギャップにある。
  論文  参考訳（メタデータ） (2026-05-08T14:53:24Z)
• Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
  本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。 注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。 被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:11:55Z)
• Interpreting the linear structure of vision-language model embedding spaces [12.846590038965774]
  我々は、4つの視覚言語モデルの埋め込み空間上でスパースオートエンコーダ(SAE)を訓練・リリースする。 学習方向の疎線形結合としてのSAEs近似モデル埋め込み、あるいは「概念」 異なる種や異なるデータダイエットでSAEをリトレーニングすることは、2つの発見につながる。SAEによって得られた稀で特異な概念は、劇的に変化するが、一般的に活性化される概念は、実行中に著しく安定していることも示している。
  論文  参考訳（メタデータ） (2025-04-16T01:40:06Z)
• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• Image Synthesis via Semantic Composition [74.68191130898805]
  本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。 類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。 本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
  論文  参考訳（メタデータ） (2021-09-15T02:26:07Z)
• Exploring Modality-shared Appearance Features and Modality-invariant Relation Features for Cross-modality Person Re-Identification [72.95858515157603]
  クロスモダリティの人物再識別作業は、識別モダリティ共有機能に依存する。 初期の成功にもかかわらず、このようなモダリティ共有の外観機能は十分なモダリティ不変情報をキャプチャできない。 クロスモダリティの変動をさらに低減するために、新しいクロスモダリティ四重極損失が提案される。
  論文  参考訳（メタデータ） (2021-04-23T11:14:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。