論文の概要: Cross-modal Steering Vectors Exist Across Both Image and Text Generation
- arxiv url: http://arxiv.org/abs/2610.36269v1
- Date: Mon, 26 Oct 2026 20:42:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.43285
- Title: Cross-modal Steering Vectors Exist Across Both Image and Text Generation
- Title（参考訳）: 画像とテキスト生成にまたがるクロスモーダルステアリングベクトル
- Abstract要約: 複数の統一マルチモーダルモデル(UMM)におけるクロスモーダルステアリングについて検討する。
感情や物体の大きさなど多種多様なステアリング概念にまたがって、ステアリングベクトルが両方の方向(テキスト・ツー・イメージ・トゥ・テキスト)でゼロショットを伝達することを示す。
我々の発見は、視覚と言語が統合されたマルチモーダルモデルの中でどのように相互作用するかに光を当て、その振る舞いを制御するためのより汎用的でモダリティに依存しないアプローチを指し示している。
- 参考スコア（独自算出の注目度）: 11.631036143207103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Are concepts and mechanisms unified across modalities in current AI models, or instead implemented separately for each one? We operationalize this broad question of modality unification by studying cross-modal steering: 1) finding vectors that successfully steer generation on tokens of one modality, which then 2) transfer zero-shot to steer generation when added to tokens of another modality. Our study goes beyond simple correlational alignment (e.g. representational similarity) because steering is fundamentally causal. We study cross-modal steering in several unified multimodal models (UMMs), since they possess shared parameters for language and image generation, focusing on these two modalities. Across diverse steered concepts such as emotion and object size, we show that steering vectors transfer zero-shot in both directions (text-to-image & image-to-text). Even for concepts that are highly unique to one modality (e.g. formal vs. colloquial language), steering vectors often induce a consistent, interpretable effect in the other modality, such as formal clothing and design. This transfer has a geometric signature too: despite a clear modality gap separating text and image representations, steering vectors with strong cross-modal transferability tend to point in similar directions for the same concept. Our findings shed light on how vision and language interact inside unified multimodal models and point towards more general, modality-agnostic approaches for controlling their behavior.
- Abstract（参考訳）: 概念とメカニズムは、現在のAIモデルのモダリティ全体に統一されているか、あるいはそれぞれのモデルに対して個別に実装されているか?
我々は、クロスモーダルステアリングの研究により、この広義のモダリティ統一の問題を運用する。
1) 1つのモダリティのトークン上でステアジェネレーションを成功させるベクターを見つける。
2) ゼロショットを他のモダリティのトークンに追加した場合にステアジェネレーションに転送する。
我々の研究は、ステアリングが基本的に因果的であるため、単純な相関アライメント(例えば表現的類似性)を越えている。
複数の統一マルチモーダルモデル (UMM) におけるクロスモーダルステアリングについて検討した。
感情や物体の大きさといった多様なステアリング概念を総合して、ステアリングベクターが両方の方向(テキスト・ツー・イメージ・トゥ・テキスト)でゼロショットを転送することを示す。
1つのモダリティ(例えば、フォーマルな対口語的言語)に非常にユニークな概念であっても、ステアリングベクトルは、フォーマルな服装やデザインのような他のモダリティにおいて一貫した解釈可能な効果をもたらす。
テキストと画像表現を分離する明確なモダリティギャップにもかかわらず、強いクロスモーダル転送性を持つステアリングベクトルは、同じ概念に対して同様の方向を示す傾向にある。
我々の発見は、視覚と言語が統合されたマルチモーダルモデルの中でどのように相互作用するかに光を当て、その振る舞いを制御するためのより汎用的でモダリティに依存しないアプローチを指し示している。
関連論文リスト
- Read-Best Is Not Steer-Best: A Probing--Steering Layer Dissociation in Omni-Modal Large Language Models [75.34700827901757]
一般的にテストされるが、最も高い確率の層がステアリングに最適な層である、という仮定は稀である。
独立に開発された3つのOmni-modalモデルにまたがって、この仮定を初めて因果検定する。
感情を制御されたテストベッドとして使用し、テキスト、音声、画像入力の階層的可読性と操縦性を測定する。
論文 参考訳（メタデータ） (2026-08-24T11:38:22Z) - Do Unified Multimodal Models Think in One Space? A Lens Through Cross-Branch Steering [7.62772056485722]
一方の枝から意味的方向を抽出し,他方の枝に応用する介入型フレームワークであるEmphcross-branchセマンティックステアリングを導入する。
理解分岐から学習したステアリングベクトルが生成に遷移し、制御可能な画像合成を可能にし、意味的忠実性を向上させることができることを示す。
この結果から,アーキテクチャ統合は意味的アライメントを保証せず,マルチモーダル表現を探索するための実用的なツールとしてクロスブランチステアリングを確立することが判明した。
論文 参考訳（メタデータ） (2026-07-29T02:46:20Z) - GridVQA-X: A Framework for Evaluating Multimodal Explainability Methods [20.57926775700787]
クロスモーダルな説明可能性を評価するために設計された最初の診断フレームワークであるGridVQA-Xを紹介する。
自然なデータセットとは異なり、GridVQA-Xはクローズドワールド合成ロジックを利用して、ユニークな数学的に保証された説明を生成する。
提案手法は, 実空間関係推論に基づくモデルと, クロスモーダルショートカットを利用したモデルとを区別できないことがわかった。
論文 参考訳（メタデータ） (2026-06-02T17:18:24Z) - Concept-to-Pixel: Prompt-Free Universal Medical Image Segmentation [2.5026850988034797]
Concept-to-Pixel (C2P) は、新しいプロンプトフリーのユニバーサルセグメンテーションフレームワークである。
C2Pは解剖学的知識を幾何学的表現とセマンティック表現の2つの構成要素に分ける。
論文 参考訳（メタデータ） (2026-03-18T14:13:22Z) - Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
単眼画像からの空間的推論は 自律運転には不可欠です
現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。
本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-07T02:05:12Z) - Steering Language Models in Multi-Token Generation: A Case Study on Tense and Aspect [3.360832612971853]
本研究では2つの多次元階層文法現象(動詞の時制とアスペクト)の表現と制御について検討する。
両文法的特徴の因果的制御は,3世代にわたる概念的ステアリングを通じて行う。
トピックシフトのような望ましくない副作用を減らすためには, ステアリング強度, 位置, 持続時間が重要なパラメータであることがわかった。
論文 参考訳（メタデータ） (2025-09-15T15:48:09Z) - Multimodal Representation Alignment for Cross-modal Information Retrieval [12.42313654539524]
異なる機械学習モデルは、異なる方法で同じ基礎概念を表現することができる。
この可変性は、入力として与えられた1つのモダリティで対応する表現を識別することを目的として、Wildのマルチモーダル検索において特に有用である。
そこで本研究では,視覚言語モデルと統合単調モデルの両方から得られる視覚とテキストの埋め込みの幾何学的関係について検討する。
次に、ニューラルネットワークを介して実装された4つの標準的な類似度メトリクスと2つの学習した指標を使用して、これらの表現を調整します。
論文 参考訳（メタデータ） (2025-06-10T13:16:26Z) - Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning [71.14084801851381]
変更キャプションは、類似した画像間のセマンティックな変化を簡潔に記述することを目的としている。
既存のほとんどの手法は、それらの違いを直接キャプチャし、エラーを起こしやすい特徴を得るリスクを負う。
本稿では,2つの画像表現の対応するチャネルを関連づけるイントラクタ免疫表現学習ネットワークを提案する。
論文 参考訳（メタデータ） (2024-07-16T13:00:33Z) - Towards Unifying Medical Vision-and-Language Pre-training via Soft
Prompts [63.84720380390935]
textiti. には、重い融合モジュールを使用するかどうかに応じて、融合エンコーダタイプと二重エンコーダタイプという2つの典型的なタイプがある。
PTUnifier という2つのタイプを統一する手法を提案する。
まず、最も代表的な画像/テキストを格納する機能バンクとして機能する視覚的およびテキスト的プロンプトを導入することで、入力形式を統一する。
論文 参考訳（メタデータ） (2023-02-17T15:43:42Z) - Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。
対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。
我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-03-27T21:16:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。