論文の概要: Multimodal Model Diffing for Feature Discovery and Control
- arxiv url: http://arxiv.org/abs/2608.09928v1
- Date: Mon, 10 Aug 2026 17:59:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.428366
- Title: Multimodal Model Diffing for Feature Discovery and Control
- Title(参考訳): 特徴発見と制御のためのマルチモーダルモデルディファリング
- Abstract要約: MMDiffは,スパースオートエンコーダをマルチモーダル動作の検出と制御のための機能レベルインターフェースに変換するフレームワークである。
我々は,LLaVA-MORE,PaliGemma 2,InternVL3.5の3つのMLLMファミリーに対して多モードSAEを訓練し,視覚空間理解,マルチモーダル安全性,OCRを評価した。
- 参考スコア(独自算出の注目度): 25.349396112139214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) exhibit strong visual understanding, yet the internal features that cause these behaviors remain difficult to identify, audit, or control. While applicable to post-hoc inspection, hidden states that are decomposed into interpretable feature directions using sparse autoencoders (SAEs) neither readily isolate which features are changed by multimodal training, nor are they directly useful for targeted control. We introduce MMDiff, a multimodal model-diffing framework that trains multimodal SAEs and turns them into feature-level interfaces for discovering and controlling multimodal behavior. MMDiff supports three uses: (i) feature isolation, by diffing a base-LM SAE against its multimodal-adapted counterpart to identify features altered by multimodal training; (ii) task-specific feature detection, via per-token contrastive firing analysis that isolates causal features; and (iii) feature-level control, by causally removing or steering the discovered feature directions. We train multimodal SAEs for three MLLM families, LLaVA-MORE, PaliGemma 2, and InternVL3.5, and evaluate on visual-spatial understanding, multimodal safety, and OCR. MMDiff discovers sparse, causally specific features whose removal selectively degrades target behaviors by an average of 12% on spatial tasks and 17% on OCR, and reduces attack success rate by 24% on multimodal safety attacks, with no impact on VQA performance. Steering these features improves spatial and OCR accuracy by +3.6% and +1.8% on average over a standard single-layer steering baseline. These results show that multimodal SAEs can serve not only as interpretability tools, but as mechanisms for auditing, steering, and controlling MLLMs behavior toward safer and more capable generations.
- Abstract(参考訳): MLLM(Multimodal Large Language Models)は、強力な視覚的理解を示すが、これらの振る舞いを引き起こす内部的特徴は、識別、監査、制御が難しいままである。
ポストホック検査に適用されるが、スパースオートエンコーダ(SAE)を用いて解釈可能な特徴方向に分解される隠蔽状態は、どの特徴がマルチモーダルトレーニングによって変更されるかを容易に分離することも、ターゲット制御に直接有用ではない。
MMDiffは、マルチモーダルSAEを訓練し、それをマルチモーダルな振る舞いを発見し制御するための機能レベルインターフェースに変換する、マルチモーダルなモデル微分フレームワークである。
MMDiffは3つの用途をサポートしている。
一 マルチモーダル・トレーニングにより変化した特徴を特定するために、基本LM SAEをマルチモーダル対応のものと拡散させることにより、特徴分離を行う。
二 因果的特徴を分離した一対一の対照的な発射分析によるタスク特化特徴の検出
三 検出した特徴方向を因果的に取り除いたり、操ったりすることによる特徴レベル制御
我々は,LLaVA-MORE,PaliGemma 2,InternVL3.5の3つのMLLMファミリーに対して多モードSAEを訓練し,視覚空間理解,マルチモーダル安全性,OCRを評価した。
MMDiffは、空間的タスクで平均12%、OCRで平均17%の目標動作を選択的に低下させ、マルチモーダルセーフティアタックで24%の攻撃成功率を低下させ、VQAのパフォーマンスに影響を与えないスパース、因果特異的な特徴を発見した。
これらの機能をステアリングすることで、標準的な単層ステアリングベースラインよりも空間的およびOCRの精度が+3.6%、+1.8%向上する。
これらの結果から,マルチモーダルSAEは,解釈可能性ツールとしてだけでなく,より安全で有能な世代に向けてのMLLMの動作の監査,ステアリング,制御機構として機能することが示唆された。
関連論文リスト
- Advancing MLLM-based UAV Image Understanding and Reasoning: A Benchmark and a Training-Free Multi-Agent System [21.596261657771]
UAV-MAS(UAV-MAS)は、MLLMをベースとしたUAV空中画像の理解と推論のための訓練用マルチエージェントシステムである。
UAVQA-Benchでは77.0%の精度でGemini 3 Proを4.0%上回り、8Bはベースモデルよりも8.7%改善している。
論文 参考訳(メタデータ) (2026-08-12T07:25:32Z) - Dual Sparse Aggregation Transformer for Multispectral Object Detection [34.20084627163684]
マルチスペクトル検出のための新しいデュアルスパースアグリゲーション変換器(DSAFormer)を提案する。
具体的には、DSAFormerは、クロスモーダル補完情報を活用および強化するために設計されている。
提案するDSAFormerは,4つの公開データセット上での最先端手法に対する検出性能を向上する。
論文 参考訳(メタデータ) (2026-06-30T01:05:24Z) - Steering Vision-Language Models with Joint Sparse Autoencoders [2.367986397868328]
連成スパースオートエンコーダ(JSAE)を導入し、シーケンスプールされた視覚と言語アクティベーションを、共用、解釈可能な画像/カプセルレベルの特徴に分解する。
JSAEを視覚言語モデル(VLM)に適用すると、制御可能なクロスモーダルステアリングの方向として使うのが難しい表現が得られる。
論文 参考訳(メタデータ) (2026-06-24T10:11:04Z) - Sparse Visual Thought Circuits in Vision-Language Models [2.5754366051855837]
我々はQwen3-VL-8Bにおける疎視的思考回路の局所化とテストを行う因果パイプラインを開発した。
この層でSAEを訓練し、明示的な規則でタスク選択集合を構築し、精度とドリフトを定量化しながら推論時間スケーリングとアブレーションを行う。
論文 参考訳(メタデータ) (2026-03-26T06:24:36Z) - Agentic Mixed-Source Multi-Modal Misinformation Detection with Adaptive Test-Time Scaling [41.61826091940538]
視覚言語モデル(VLM)は,社会プラットフォーム上でのマルチモーダル誤報の検出に有効であることが証明されている。
しかしながら、単一のVLMの容量は、より複雑な混在するマルチモーダル誤情報検出タスクにおいて不足する。
我々は,ゼロショット誤情報検出のためのマルチエージェントフレームワークであるAgentM3Dを提案する。
論文 参考訳(メタデータ) (2026-03-03T02:07:52Z) - UV-M3TL: A Unified and Versatile Multimodal Multi-Task Learning Framework for Assistive Driving Perception [71.19234323863314]
運転者の行動、運転者の感情、車両の行動、交通状況を同時に認識する枠組みを提案する。
本フレームワークは,デュアルブランチ空間チャネルのマルチモーダル埋め込みと適応的特徴分離型マルチタスク損失の2つのコアコンポーネントを組み込んでいる。
提案手法をAIDEデータセット上で評価し,UV-M3TLが4つのタスクすべてにおいて最先端の性能を達成することを示す実験結果を得た。
論文 参考訳(メタデータ) (2026-02-02T03:35:24Z) - A Tri-Modal Dataset and a Baseline System for Tracking Unmanned Aerial Vehicles [74.8162337823142]
MM-UAVはMulti-Modal UAV Trackingの最初の大規模ベンチマークである。
データセットは30以上の挑戦的なシナリオにまたがっており、1,321の同期マルチモーダルシーケンスと280万以上の注釈付きフレームがある。
データセットを伴って、我々は新しいマルチモーダルマルチUAV追跡フレームワークを提供する。
論文 参考訳(メタデータ) (2025-11-23T08:42:17Z) - Automating Steering for Safe Multimodal Large Language Models [58.36932318051907]
基礎モデルの微調整を必要とせず,モジュール型かつ適応型推論時間介入技術であるAutoSteerを導入する。
AutoSteerは,(1)モデル内部層間の最も安全性に関連のある識別を自動的に行う新しい安全意識スコア(SAS),(2)中間表現から有害な出力の可能性を推定するために訓練された適応安全プローバ,(3)安全性のリスクが検出された場合に生成を選択的に介入する軽量な拒絶ヘッドの3つのコアコンポーネントを組み込んだ。
論文 参考訳(メタデータ) (2025-07-17T16:04:55Z) - Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。
クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
論文 参考訳(メタデータ) (2025-05-22T17:11:58Z) - SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [79.58755811919366]
本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。
水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。
この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
論文 参考訳(メタデータ) (2024-12-30T02:47:51Z) - AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。
従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。
さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
論文 参考訳(メタデータ) (2024-06-24T15:16:45Z) - MKF-ADS: Multi-Knowledge Fusion Based Self-supervised Anomaly Detection System for Control Area Network [9.305680247704542]
制御エリアネットワーク(英: Control Area Network, CAN)は、車両ネットワークにおける電子制御ユニット(ECU)間の通信プロトコルである。
CANは、本質的にセキュリティ上のリスクのために、厳しいセキュリティ上の課題に直面している。
本稿では,MKF-ADSと呼ばれる自己教師付き多知識融合異常検出モデルを提案する。
論文 参考訳(メタデータ) (2024-03-07T07:40:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。