論文の概要: Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning
- arxiv url: http://arxiv.org/abs/2608.01437v1
- Date: Sun, 02 Aug 2026 18:42:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.242361
- Title: Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning
- Title（参考訳）: ルーティング飽和を超えて:マルチモーダル・インストラクション・チューニングにおけるエキスパートルーティングの長期的クラスインクリメンタル視点
- Abstract要約: 広範に使用されているMCITベンチマークでは,ルーティングがほぼ飽和していることを示す。
テキスト指紋の弱い34タスク長軸MCITベンチマークであるFLEXを紹介する。
我々は,プログレッシブLoRAルーティングをソフトタスク・アズ・クラス・マルチモーダル・クラス・インクリメンタルラーニングとして定式化する。
- 参考スコア（独自算出の注目度）: 7.306800112396147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Continual Instruction Tuning (MCIT) enables multimodal large language models to acquire new tasks sequentially while retaining previously learned capabilities. Many recent methods maintain task-specific LoRA experts and route each input to one or more experts at inference. Yet the task-identification problem underlying expert routing remains under-explored. We show that routing is nearly saturated on widely used MCIT benchmarks. Textual fingerprints that leak task identity and short 4--10-task sequences with few competing experts jointly obscure the long-horizon routing problem. To expose this challenge, we introduce FLEX (Fingerprint-reduced Long-horizon Expert eXamination), a 34-task long-horizon MCIT benchmark with weakened textual fingerprints. FLEX groups tasks with similar instruction and answer formats but diverse visual and knowledge domains, normalizes their outer templates, and evaluates routing over a substantially larger expert pool. Crucially, we formulate progressive-LoRA routing as soft task-as-class Multimodal Class-Incremental Learning (MCIL): each task defines an incremental routing class, whose complete score distribution supplies the LoRA mixture weights, with hard routing as a discrete special case. FLEX exposes this expanding task-identification challenge, while the MCIL formulation provides a principled interface for transferring CIL methods to expert routing. We instantiate PureLoRA as a controlled baseline and adapt four CIL methods to four MCIT frameworks without modifying their LoRA experts or generation pipelines. Our plug-in routers improve strict LoRA matching by up to 16.3 percentage points and overall MacroScore by up to 4.6 points. Code is available at: https://github.com/RINC-CL/FLEX
- Abstract（参考訳）: MCIT(Multimodal Continual Instruction Tuning)は、マルチモーダルな大規模言語モデルにおいて、以前に学習した能力を維持しながら、シーケンシャルに新しいタスクを取得できるようにする。
最近の多くの手法では、タスク固有のLoRAの専門家を維持し、各入力を推論時に1つ以上の専門家にルーティングする。
しかし、エキスパートルーティングの根底にあるタスク識別問題は未解決のままである。
広範に使用されているMCITベンチマークでは,ルーティングがほぼ飽和していることを示す。
タスクアイデンティティと短い4--10タスクシーケンスをリークするテキスト指紋。
FLEX(Fingerprint-reduced Long-Horizon Expert eXamination, 34-task long-Horizon MCIT benchmark with weakened textual fingerprints。
FLEXは、類似の命令と応答形式を持つタスクをグループ化し、様々な視覚と知識ドメインを分類し、外部テンプレートを正規化し、より大きな専門家プールへのルーティングを評価する。
重要なことは、プログレッシブ・ロラ・ルーティングをソフトタスク・アズ・クラス・インクリメンタル・ラーニング(MCIL)として定式化し、各タスクはインクリメンタル・ルーティング・クラスを定義する。
FLEXはタスク識別の課題を拡大し、MCILの定式化はCILメソッドをエキスパートルーティングに転送するための原則化されたインターフェースを提供する。
制御されたベースラインとしてPureLoRAをインスタンス化し、LoRAの専門家や生成パイプラインを変更することなく、4つのCILメソッドを4つのMCITフレームワークに適合させる。
我々のプラグインルータは、厳格なLoRAマッチングを16.3%まで改善し、MacroScore全体の4.6ポイントまで改善した。
コードは、https://github.com/RINC-CL/FLEXで入手できる。
関連論文リスト
- CoRe-MoE: Compact Reusable MoE for Continual Multimodal Instruction Tuning [27.134978383829807]
連続的マルチモーダル命令チューニングでは,タスク能力を逐次獲得するために,多モーダルな大規模言語モデルが必要となる。
LoRA-MoEは、専門家ベースのキャパシティを導入することで、有望なソリューションを提供する。
パラメータ効率の良い連続マルチモーダル命令チューニングのためのコンパクト再使用型MoEフレームワークであるCoRe-MoEを提案する。
論文 参考訳（メタデータ） (2026-08-28T03:15:58Z) - Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳（メタデータ） (2026-06-22T06:37:31Z) - IR3DE: A Linear Router for Large Language Models [2.1485350418225244]
IR3DEはRook Regressionベースのドメインエキスパート向けルータで、各プロンプトに対して安価で高速なルーティング決定を提供する。
我々は、全てのドメインに対してタスクが次々に予測される2つの因果言語モデリング(CLM)設定と、各ドメインが独自の推論タスクを持つ1つの推論設定でIR3DEを評価する。
論文 参考訳（メタデータ） (2026-06-04T12:36:28Z) - Towards Long-horizon Agentic Multimodal Search [109.0092257657625]
本稿では,LMM-Searcher という,ファイルベースの視覚的表現機構を中心とした新しい多モード深層検索フレームワークを提案する。
エージェントに調整されたフェッチ・イメージ・ツールを装備し、能動的知覚のためのプログレッシブでオンデマンドなビジュアル・ローディング・ストラテジーを実現する。
提案手法は,100ターンの探索地平線へのスケールアップに成功し,オープンソースモデル間の最先端性能を実現した。
論文 参考訳（メタデータ） (2026-04-14T15:40:28Z) - SkillRouter: Skill Routing for LLM Agents at Scale [18.540967600258607]
ユーザタスクが与えられたら、システムは、下流の計画や実行の前に、関連するスキルを特定する必要がある。
既存のエージェントスタックはプログレッシブな開示に依存しており、完全な実装ボディを隠蔽しながら、スキル名と記述のみを公開する。
1.2Bのコンパクトなフルテキスト検索/参照パイプラインであるSkillを提示する。
論文 参考訳（メタデータ） (2026-03-23T18:23:59Z) - CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging [49.87105462292961]
Core Space Mixture of LoRA (bfCoMoL)は、専門家の多様性、パラメータ効率、きめ細かい適応を取り入れた新しいMoE-LoRAフレームワークである。
CoMoLは、複数のタスクで既存のメソッドを一貫して上回る。
論文 参考訳（メタデータ） (2026-02-28T09:40:11Z) - SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。
プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。
また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
論文 参考訳（メタデータ） (2026-02-02T11:47:06Z) - Enhancing Multimodal Continual Instruction Tuning with BranchLoRA [26.618850482040397]
マルチモーダル・インストラクション・チューニング(Multimodal Continual Instruction Tuning)は、マルチモーダル・大規模言語モデル(MLLM)を微調整し、人間の意図と継続的に一致させることを目的としている。
既存のアプローチは、しばしば以前の命令アライメントを維持するためにMixture-of-Experts (MoE) LoRAフレームワークに依存している。
効率と性能を両立させる非対称なフレームワークである BranchLoRA を提案する。
論文 参考訳（メタデータ） (2025-05-31T09:02:38Z) - Glider: Global and Local Instruction-Driven Expert Router [83.785832410832]
モデルMoErging」手法は、保持タスクのパフォーマンスを犠牲にして、未確認タスクへの一般化を優先する。
マルチスケールルーティング機構を統合したGLIDER(Global and Local Instruction Driven Expert Router)を提案する。
GLIDERは、ホールドアウトタスクの強い一般化を維持しながら、ホールドイン性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-10-09T17:59:14Z) - VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding? [115.60866817774641]
MLLM(Multimodal Large Language Model)は、Web関連のタスクにおいて有望であることを示す。
Webドメインにおけるパフォーマンス評価は、包括的なベンチマークが欠如しているため、依然として課題である。
benchは、さまざまなWebタスクにわたるMLLMの機能を評価するために設計されたマルチモーダルベンチマークである。
論文 参考訳（メタデータ） (2024-04-09T02:29:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。