Fugu-MT 論文翻訳(概要): CoRe-MoE: Compact Reusable MoE for Continual Multimodal Instruction Tuning

論文の概要: CoRe-MoE: Compact Reusable MoE for Continual Multimodal Instruction Tuning

arxiv url: http://arxiv.org/abs/2608.27867v1
Date: Fri, 28 Aug 2026 03:15:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.189565
Title: CoRe-MoE: Compact Reusable MoE for Continual Multimodal Instruction Tuning
Title（参考訳）: CoRe-MoE:連続マルチモーダルインストラクションチューニングのためのコンパクト再利用可能なMoE
Abstract要約: 連続的マルチモーダル命令チューニングでは,タスク能力を逐次獲得するために,多モーダルな大規模言語モデルが必要となる。 LoRA-MoEは、専門家ベースのキャパシティを導入することで、有望なソリューションを提供する。パラメータ効率の良い連続マルチモーダル命令チューニングのためのコンパクト再使用型MoEフレームワークであるCoRe-MoEを提案する。
参考スコア（独自算出の注目度）: 27.134978383829807
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual multimodal instruction tuning requires multimodal large language models to acquire new task abilities sequentially while preserving previously learned knowledge. LoRA-MoE provides a promising solution by introducing expert-based capacity, but repeatedly learning and maintaining full LoRA experts leads to substantial parameter overhead. This raises a natural question: is full expert expansion necessary for every new task? To answer it, we analyze the SVD of task-specific LoRA updates and observe substantial overlap in their input- and output-side LoRA direction subspaces, with task-specific adaptation largely captured by lightweight coordinates over these subspaces. Motivated by this observation, we propose CoRe-MoE, a Compact Reusable MoE framework for parameter-efficient continual multimodal instruction tuning. CoRe-MoE extracts reusable input- and output-side direction bases from an initial expert bank, and for subsequent tasks trains only compact coordinate experts together with task-specific low-rank routers. Experiments on two representative MLLMs show that CoRe-MoE improves final average performance over the strongest competing baseline by up to 5.90 points, while using less than 1% of the trainable parameters required by sequential LoRA for later tasks. The code is publicly available at https://github.com/runzezz/CoRe-MoE.
Abstract（参考訳）: 連続的マルチモーダル命令チューニングでは、学習済みの知識を保ちながら、新しいタスク能力を逐次取得するために、マルチモーダルな大規模言語モデルが必要である。 LoRA-MoEは、専門家ベースのキャパシティを導入することで、有望なソリューションを提供する。これは自然な疑問を引き起こします – 新しいタスクのすべてに、完全な専門家拡張が必要ですか? そこで本研究では,タスク固有のLoRA更新のSVDを分析し,その入力側と出力側のLoRA方向のサブスペースにおいてかなりの重複を観測し,タスク固有の適応をこれらのサブスペース上の軽量座標によって大きく捉えた。本稿では,パラメータ効率のよい連続型マルチモーダル命令チューニングのためのコンパクト再使用型MoEフレームワークであるCoRe-MoEを提案する。 CoRe-MoEは、初期エキスパートバンクから再利用可能な入力側と出力側の方向ベースを抽出し、その後のタスクでは、タスク固有の低ランクルータとともにコンパクトな座標専門家のみを訓練する。 2つの代表的MLLMの実験では、CoRe-MoEは最大5.90ポイントまでの性能を向上し、後続のタスクでシーケンシャルなLORAが必要とするトレーニング可能なパラメータの1%未満を使用する。コードはhttps://github.com/runzezz/CoRe-MoE.comで公開されている。

関連論文リスト

SAMoRA: Semantic-Aware Mixture of LoRA Experts for Task-Adaptive Learning [16.375739338401303]
本稿では,タスク適応学習に適したパラメータ効率の高いファインチューニングフレームワークを提案する。セマンティック・アウェア・ルータは、テキストのセマンティックスを正確にルーティングするのに最も適した専門家と明確に整合させることが提案されている。 Task-Uniform Scalingメカニズムは、特定のタスク要求に基づいて専門家のコントリビューションを調整するように設計されている。
論文参考訳（メタデータ） (2026-04-21T03:55:02Z)
CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging [49.87105462292961]
Core Space Mixture of LoRA (bfCoMoL)は、専門家の多様性、パラメータ効率、きめ細かい適応を取り入れた新しいMoE-LoRAフレームワークである。 CoMoLは、複数のタスクで既存のメソッドを一貫して上回る。
論文参考訳（メタデータ） (2026-02-28T09:40:11Z)
AR-MOT: Autoregressive Multi-object Tracking [56.09738000988466]
本稿では,大規模言語モデル(LLM)フレームワーク内のシーケンス生成タスクとしてMOTを定式化する,新しい自己回帰パラダイムを提案する。この設計により、タスク固有のヘッドを必要とせずに、フレキシブルなシーケンス構成によって構造化された結果を出力できる。地域レベルの視覚知覚を高めるために,事前訓練された検出器に基づくオブジェクト・トケナイザを導入する。
論文参考訳（メタデータ） (2026-01-05T09:17:28Z)
Enhancing Multimodal Continual Instruction Tuning with BranchLoRA [26.618850482040397]
マルチモーダル・インストラクション・チューニング(Multimodal Continual Instruction Tuning)は、マルチモーダル・大規模言語モデル(MLLM)を微調整し、人間の意図と継続的に一致させることを目的としている。既存のアプローチは、しばしば以前の命令アライメントを維持するためにMixture-of-Experts (MoE) LoRAフレームワークに依存している。効率と性能を両立させる非対称なフレームワークである BranchLoRA を提案する。
論文参考訳（メタデータ） (2025-05-31T09:02:38Z)
MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning [18.0412262027514]
マルチタスクのためのMixture of Low-Rank Experts (MoRE)を提案する。各タスクに個別のLoRAを使う代わりに、異なるタスクでLoRAモジュールの異なるランクを調整します。また、タスクごとに適切な専門家を選択するために、新しい適応的なランクセレクタを設計する。
論文参考訳（メタデータ） (2025-05-28T12:32:09Z)
ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
論文参考訳（メタデータ） (2025-05-24T11:01:45Z)
LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models [21.888139819188105]
LLaVA-CMoEは、大規模言語モデルの継続的な学習フレームワークである。 Probe-Guided Knowledge Extensionメカニズムは、いつ、どこで新しいエキスパートを追加するべきかを決定する。 Probabilistic Task Locatorは各タスクを専用軽量ルータに割り当てる。
論文参考訳（メタデータ） (2025-03-27T07:36:11Z)
Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文参考訳（メタデータ） (2025-01-25T06:56:39Z)
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
論文参考訳（メタデータ） (2024-10-12T08:32:26Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models [7.966452497550907]
大規模言語モデル(LLM)を用いたマルチタスク学習のためのMixture-of-LoRA(MoA)アーキテクチャを提案する。複数のドメイン固有のLoRAモジュールは、Mixture-of-Experts(MoE)で観察される専門家設計原則と一致させることができる。各LoRAモデルは、新しいドメインに反復的に適応することができ、素早くドメイン固有の適応を可能にする。
論文参考訳（メタデータ） (2024-03-06T03:33:48Z)
Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文参考訳（メタデータ） (2024-02-24T20:15:31Z)
LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition [44.13900539802629]
ローランク適応(LoRA)は、しばしば新しいタスクのために細調整された大きな言語モデル(LLM)に使用される。本稿では,多様なタスクで訓練されたLoRAモジュールの組み立てのためのフレームワークであるLoraHubを紹介する。新しいタスクからいくつか例を挙げると、LoraHubは複数のLoRAモジュールを流動的に結合することができ、人間の専門知識や前提を必要としない。
論文参考訳（メタデータ） (2023-07-25T05:39:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。