論文の概要: MHR-Router: Multimodal Heterogeneous Retrieval-Enhanced Adaptive Routing for VLM Inference
- arxiv url: http://arxiv.org/abs/2610.13278v1
- Date: Fri, 09 Oct 2026 09:28:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.50601
- Title: MHR-Router: Multimodal Heterogeneous Retrieval-Enhanced Adaptive Routing for VLM Inference
- Title（参考訳）: MHR-Router:VLM推論のための多モード不均一検索強化適応ルーティング
- Abstract要約: 視覚言語モデル(VLM)は相補的な能力を示すが、与えられた画像検索クエリに最も適した専門家を選択することは依然として困難である。
既存のルーティングアプローチは、テキストベースのキューや静的モデルプロファイルに依存しており、きめ細かいビジュアルエビデンスや専門家固有の障害パターンをキャプチャできない。
VLM推論のための多モード異種検索強化適応ルーティングフレームワーク MHR- Routing を提案する。
- 参考スコア（独自算出の注目度）: 7.979738117086321
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) exhibit complementary capabilities, yet selecting the most suitable expert for a given image-question query remains challenging due to heterogeneous multimodal inputs and varying expert strengths. Existing routing approaches rely on text-based cues or static model profiles, failing to capture fine-grained visual evidence and expert-specific failure patterns. To address this, we propose MHR-Router, a multimodal heterogeneous retrieval-enhanced adaptive routing framework for VLM inference. It accurately dispatches each multimodal query to the most suitable VLM expert via local retrieval evidence. MHR-Router consists of two stages: (1) Multimodal Routing Representation, which fuses frozen multimodal features into a comprehensive query representation; and (2) Heterogeneous Retrieval-Enhanced Adaptive Routing, which retrieves expert-specific success and failure memories as local evidence and employs a shared scorer to adaptively select the optimal expert. Experiments show that MHR-Router effectively achieves heterogeneous modality routing and consistently improves accuracy over traditional baselines.
- Abstract（参考訳）: 視覚言語モデル(VLM)は相補的な能力を示すが、不均一なマルチモーダル入力と様々な専門家の強みにより、与えられた画像探索クエリーに対して最も適した専門家を選択することは依然として困難である。
既存のルーティングアプローチは、テキストベースのキューや静的モデルプロファイルに依存しており、きめ細かいビジュアルエビデンスや専門家固有の障害パターンをキャプチャできない。
そこで本研究では,マルチモーダルなヘテロジニアス検索型適応ルーティングフレームワークであるMHR-Routerを提案する。
それは、各マルチモーダルクエリを、局所的な検索証拠を通じて、最も適切なVLM専門家に正確にディスパッチする。
MHR-Router は,(1) 凍結したマルチモーダルな特徴を包括的クエリ表現に融合させるマルチモーダルなルーティング表現,(2) 専門家固有の成功と失敗の記憶を局所的な証拠として取り出す不均一な検索強化適応ルーティングの2段階からなる。
実験により, MHR-Router は不均一なモダリティルーティングを効果的に達成し, 従来のベースラインよりも常に精度を向上することが示された。
関連論文リスト
- InstMoE: Adaptive Multimodal Routing with Specialized Experts [40.52237492708294]
InstMoEは、マルチモーダル学習のための適応型エキスパートルーティングフレームワークである。
本稿では,タスク関連表現を意味的に類似した入力で共有するContrastive Semantic Alignmentモジュールを提案する。
マルチモーダル感情分析ベンチマークの実験は、InstMoEが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-10-04T10:40:07Z) - LatentRouter: Can We Choose the Right Multimodal Model Before Seeing Its Answer? [69.71754384259167]
マルチモーダル大言語モデル(MLLM)は、OCR、チャート理解、空間的推論、視覚的質問応答、コスト、レイテンシにまたがるヘテロジニアスな強度を持つ。
本稿では,MLLMルーティングを実効的マルチモーダルユーティリティ予測として定式化するルータであるLatentを提案する。
MMR-BenchとVL-Benchの実験では、Latentは固定モデル、特徴レベル、学習ルータベースラインよりも優れていた。
論文 参考訳（メタデータ） (2026-05-11T22:42:12Z) - MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models [36.67777831459829]
Mixture-of-Experts (MoE)は、Transformerアーキテクチャの計算オーバーヘッドを削減する効果的なアプローチとして登場した。
我々は、MoEベースのビジョンランゲージモデルにおいて、エキスパートルーティングを最適化するための強化学習フレームワークであるMoE-GRPOを提案する。
MoE-GRPOは、より多様な専門家の選択を促進することにより、標準のトップKルーティングとその変種を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-03-26T03:23:45Z) - MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering [51.19392014547221]
検索型マルチモーダル文書QAは,視覚的にリッチな文書から複雑なマルチモーダル構造を持つ関連情報を識別し,統合することを目的としている。
現在のアプローチは、サージェントなコンテンツを見渡すクエリに依存しないドキュメント表現に依存しています。
本稿では,クエリ適応生成を導入したMultimodal Adaptive Retrieval-Augmented (MARA)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-01T12:27:40Z) - Token-Level LLM Collaboration via FusionRoute [60.72307345997823]
FusionRouteはトークンレベルのマルチLLMコラボレーションフレームワークである。
各デコーディングステップで最も適した専門家を選択し、選択した専門家の次のTokenディストリビューションを洗練または修正する補完ロジットをコントリビュートする。
シーケンスレベルのコラボレーションとトークンレベルのコラボレーション、モデルマージ、ダイレクト微調整の両方に優れています。
論文 参考訳（メタデータ） (2026-01-08T16:53:16Z) - Learning to Route Queries Across Knowledge Bases for Step-wise Retrieval-Augmented Reasoning [60.84901522792042]
Multimodal Retrieval-Augmented Generation (MRAG)は、マルチモーダル大言語モデル(MLLM)における幻覚の緩和を約束している。
進化する推論状態に基づいて知識をいつどこで取得するかを学習する新しいMRAGフレームワークであるR1を提案する。
R1-は多種多様なKBを適応的かつ効果的に利用でき、不要な検索を減らし、効率と精度を向上させる。
論文 参考訳（メタデータ） (2025-05-28T08:17:57Z) - R2-T2: Re-Routing in Test-Time for Multimodal Mixture-of-Experts [21.119495676190127]
大規模マルチモーダルモデル(LMM)では、非言語的モダリティ(視覚表現など)の知覚は通常、大きな言語モデル(LLM)と同等ではない。
本稿では,テスト時間における経路重みのベクトルを局所的に最適化する,新しい効率的な手法であるRe-Routing in Test-Time (R2-T2)を提案する。
R2-T2は、ベースモデルパラメータを訓練することなく、様々なタスクのベンチマークに挑戦する上で、最先端のLMMの性能を一貫して大幅に改善する。
論文 参考訳（メタデータ） (2025-02-27T18:59:32Z) - Robust Modality-incomplete Anomaly Detection: A Modality-instructive Framework with Benchmark [69.02666229531322]
モダリティ不完全産業異常検出(MIIAD)の先駆的研究を紹介する。
その結果,既存のMIAD手法はMIIADベンチでは性能が悪く,性能が著しく低下していることが判明した。
本稿では,新しい2段階のロバストモードアリティファジングと検出フレームwoRk(RADAR)を提案する。
論文 参考訳（メタデータ） (2024-10-02T16:47:55Z) - RouterRetriever: Routing over a Mixture of Expert Embedding Models [58.987116118425995]
本稿では、ルーティング機構を用いて、ドメイン固有の専門家の混在を利用した検索モデルであるReuterRetrieverを紹介する。
RouterRetrieverは、ドメイン固有の専門的な埋め込みモデルを混在させたルーティングの利点を示す最初の研究である。
論文 参考訳（メタデータ） (2024-09-04T13:16:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。