論文の概要: MAST: Medoid-Anchored Subspace Steering for Visual Grounding in Multimodal LLMs
- arxiv url: http://arxiv.org/abs/2611.15168v1
- Date: Wed, 11 Nov 2026 08:05:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.08119
- Title: MAST: Medoid-Anchored Subspace Steering for Visual Grounding in Multimodal LLMs
- Title(参考訳): MAST:Medoid-Anchored Subspace Steering for Visual Grounding in Multimodal LLM
- Abstract要約: 大言語モデル(MLLM)の既存のアクティベーションステアリング手法では、大域的アクティベーション平均をステアリングベクトルとして用いる。
本稿では,MAST(Medoid-Anchored Subspace Steering)を提案する。
各一致クラスタに対して、ローランクな局所ステアリング方向を抽出し、クラスタ間で集約し、最終ステアリングベクトルを生成する。
- 参考スコア(独自算出の注目度): 9.260202470839118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing activation steering methods for multimodal large language models (MLLMs) use the global activation mean as the steering vector, which tends to cause cross-task interference and unstable performance. We trace this failure to the multi-centered geometry of task activations. The global mean lands in the empty region between clusters and is faithful to no single task. Moreover, the steering signal in each task-pure local cluster is low-rank, and different query tasks benefit from emphasizing different families of local-basis directions under the shared routing protocol. To address this, we propose MAST (Medoid-Anchored Subspace Steering), a training-free, input-adaptive activation steering framework. MAST groups samples by task, performs multi-center clustering within each group, and selects one representative medoid per cluster. At inference time, each query is routed to multiple representative medoids. For each matched cluster, a low-rank local steering direction is extracted and aggregated across clusters to produce the final steering vector. Building on MAST, MAST-PR (Probe-Reweighted) uses a lightweight task-aware probe to reweight task-specialized local-direction families, yielding a further average improvement of +8.09 points over MAST.
- Abstract(参考訳): 既存のマルチモーダル大言語モデル(MLLM)のアクティベーションステアリング手法では、グローバルアクティベーション平均をステアリングベクトルとして使用しており、これはクロスタスクの干渉や不安定な性能を引き起こす傾向がある。
この失敗は、タスクアクティベーションの多中心幾何に遡る。
グローバル平均は、クラスタ間の空の領域に到達し、単一のタスクに忠実である。
さらに、各タスク純ローカルクラスタのステアリング信号は低ランクであり、異なるクエリタスクは、共有ルーティングプロトコルの下で、ローカルバス方向の異なるファミリーを強調することで恩恵を受ける。
そこで本研究では,MAST(Medoid-Anchored Subspace Steering)を提案する。
MASTグループはタスクごとにサンプリングし、各グループ内でマルチセンタークラスタリングを行い、クラスタ毎に1つの代表メドイドを選択する。
推測時には、各クエリは複数の代表的なメディドにルーティングされる。
各一致クラスタに対して、ローランクな局所ステアリング方向を抽出し、クラスタ間で集約し、最終ステアリングベクトルを生成する。
MAST上に構築されているMAST-PR(Probe-Reweighted)は、タスク対応のローカル指向ファミリーをリウェイトするために軽量なタスク対応プローブを使用しており、MASTよりも平均で+8.09ポイント向上している。
関連論文リスト
- Universal Guideline-Driven Image Clustering via a Hybrid LLM Agent [30.57624245739599]
テキスト・ガイドラインを通じてこれらのギャップを埋める最初のユニバーサル・フレームワークであるガイドライン駆動イメージ・クラスタリング・エージェントを紹介します。
本稿では,概念プロキシ抽出を通じてガイドラインを意識した埋め込みを生成する生成概念プロキシモデリングを提案する。
当社のフレームワークは、さまざまなクラスタリングタスクにまたがる特殊なメソッドを一貫して上回ります。
論文 参考訳(メタデータ) (2026-06-23T03:20:09Z) - Learning to Communicate Locally for Large-Scale Multi-Agent Pathfinding [48.1609560841622]
本稿では,効率的な特徴共有を通じてエージェント間の協調を強化するための学習可能な通信モジュールを提案する。
提案手法は既存の学習ベースMAPFソルバよりも優れていることを示す。
論文 参考訳(メタデータ) (2026-05-08T12:05:08Z) - Robust multi-task boosting using clustering and local ensembling [6.920276126310231]
クラスタリングと局所組立(RMB-CLE)を用いたロバストマルチタスクブースティングを提案する。
RMB-CLEは、クロスタスクエラーから直接タスク間類似性を導出する。
各クラスタ内のローカルアンサンブルは、堅牢な知識共有を可能にする。
論文 参考訳(メタデータ) (2026-02-15T16:59:23Z) - ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。
タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
論文 参考訳(メタデータ) (2025-05-24T11:01:45Z) - Distributed Online Rollout for Multivehicle Routing in Unmapped
Environments [0.8437187555622164]
我々は、よく知られた多車両ルーティング問題に対して、完全に分散し、オンラインでスケーラブルな強化学習アルゴリズムを提案する。
エージェントはローカルクラスタに自己組織化し、各クラスタにローカルにマルチエージェントロールアウトスキームを独立に適用する。
提案アルゴリズムは, 放射半径の2倍と3倍の精度で, 基本方針よりも約2倍のコスト向上を実現している。
論文 参考訳(メタデータ) (2023-05-24T22:06:44Z) - MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization [55.06956781674986]
我々は、各ソースドメインにいくつかのラベル情報がある半教師付きドメイン一般化タスクの解決に頼っている。
我々は、MultiMatchを提案し、FixMatchをマルチタスク学習フレームワークに拡張し、SSDGのための高品質な擬似ラベルを生成する。
提案手法の有効性を検証し,いくつかのベンチマークDGデータセット上で既存の半教師付き手法とSSDG法より優れていることを示す。
論文 参考訳(メタデータ) (2022-08-11T14:44:33Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳(メタデータ) (2021-10-14T07:43:39Z) - Semantic Attention and Scale Complementary Network for Instance
Segmentation in Remote Sensing Images [54.08240004593062]
本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。
SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。
SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
論文 参考訳(メタデータ) (2021-07-25T08:53:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。