論文の概要: MoE-LLaVA: Mixture of Experts for Large Vision-Language Models
- arxiv url: http://arxiv.org/abs/2401.15947v1
- Date: Mon, 29 Jan 2024 08:13:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 15:41:00.816227
- Title: MoE-LLaVA: Mixture of Experts for Large Vision-Language Models
- Title(参考訳): MoE-LLaVA:大型ビジョンランゲージモデルの専門家の混在
- Authors: Bin Lin, Zhenyu Tang, Yang Ye, Jiaxi Cui, Bin Zhu, Peng Jin, Junwu
Zhang, Munan Ning, Li Yuan
- Abstract要約: 大規模視覚言語モデルのための新しいトレーニング戦略MoE-tuningを提案する。
我々は、MoEベースのスパースLVLMアーキテクチャであるMoE-LLaVAフレームワークを提案する。
実験では、視覚理解におけるMoE-LLaVAの優れた機能と、モデル出力における幻覚の低減の可能性を強調した。
- 参考スコア(独自算出の注目度): 28.77845434187375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For Large Vision-Language Models (LVLMs), scaling the model can effectively
improve performance. However, expanding model parameters significantly
increases the training and inferring costs, as all model parameters are
activated for each token in the calculation. In this work, we propose a novel
training strategy MoE-tuning for LVLMs, which can constructing a sparse model
with an outrageous number of parameter but a constant computational cost, and
effectively addresses the performance degradation typically associated with
multi-modal learning and model sparsity. Furthermore, we present the MoE-LLaVA
framework, a MoE-based sparse LVLM architecture. This framework uniquely
activates only the top-k experts through routers during deployment, keeping the
remaining experts inactive. Our extensive experiments highlight the excellent
capabilities of MoE-LLaVA in visual understanding and its potential to reduce
hallucinations in model outputs. Remarkably, with just 3 billion sparsely
activated parameters, MoE-LLaVA demonstrates performance comparable to the
LLaVA-1.5-7B on various visual understanding datasets and even surpasses the
LLaVA-1.5-13B in object hallucination benchmarks. Through MoE-LLaVA, we aim to
establish a baseline for sparse LVLMs and provide valuable insights for future
research in developing more efficient and effective multi-modal learning
systems. Code is released at \url{https://github.com/PKU-YuanGroup/MoE-LLaVA}.
- Abstract(参考訳): 大きなビジョン言語モデル(lvlms)では、モデルをスケールすることで、パフォーマンスが効果的に向上します。
しかしながら、モデルパラメータの拡張は、計算の各トークンに対してすべてのモデルパラメータがアクティベートされるため、トレーニングと推論コストを大幅に増加させる。
本研究では,LVLMのための新しいトレーニング戦略であるMoE-tuningを提案する。これは,パラメータが無数のスパースモデルを構築することができるが,計算コストは一定であり,マルチモーダル学習やモデル空間に典型的な性能劣化に効果的に対処できる。
さらに、MoEベースのスパースLVLMアーキテクチャであるMoE-LLaVAフレームワークを提案する。
このフレームワークは、デプロイ中にルータを通じてトップkの専門家のみをアクティベートする。
広汎な実験では、視覚理解におけるMoE-LLaVAの優れた機能と、モデル出力における幻覚の低減の可能性を強調した。
注目すべきは、わずか30億の活性パラメータで、MoE-LLaVAは様々な視覚的理解データセット上でのLLaVA-1.5-7Bに匹敵するパフォーマンスを示し、オブジェクト幻覚ベンチマークではLLaVA-1.5-13Bを超えていることだ。
MoE-LLaVAを通じて、スパースLVLMのベースラインを確立し、より効率的で効果的なマルチモーダル学習システムの開発において、今後の研究に有用な洞察を提供する。
コードは \url{https://github.com/PKU-YuanGroup/MoE-LLaVA} で公開されている。
関連論文リスト
- Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [57.03374531297098]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。
提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。
視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文 参考訳(メタデータ) (2024-03-18T08:00:23Z) - Mitigating Object Hallucination in Large Vision-Language Models via
Classifier-Free Guidance [56.04768229686853]
LVLM(Large Vision-Language Models)は、画像中の既存の物体を幻覚させる傾向がある。
私たちはclassifieR-Free guIdaNcE (MARINE)を介してMitigating HallucinAtionと呼ばれるフレームワークを導入する。
MARINEはトレーニングフリーかつAPIフリーであり、生成プロセス中のオブジェクト幻覚を効果的かつ効率的に低減することができる。
論文 参考訳(メタデータ) (2024-02-13T18:59:05Z) - Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning [13.964106147449051]
既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。
我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。
セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-02-04T04:42:05Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2023-03-20T19:20:34Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳(メタデータ) (2021-10-07T11:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。