論文の概要: Scaling Vision-Language Models with Sparse Mixture of Experts

• arxiv url: http://arxiv.org/abs/2303.07226v1
• Date: Mon, 13 Mar 2023 16:00:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 14:04:58.980609
• Title: Scaling Vision-Language Models with Sparse Mixture of Experts
• Title（参考訳）: スパースミキサーを用いた視覚・言語モデルのスケーリング
• Authors: Sheng Shen, Zhewei Yao, Chunyuan Li, Trevor Darrell, Kurt Keutzer, Yuxiong He
• Abstract要約: 提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
• 参考スコア（独自算出の注目度）: 128.0882767889029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of natural language processing (NLP) has made significant strides in recent years, particularly in the development of large-scale vision-language models (VLMs). These models aim to bridge the gap between text and visual information, enabling a more comprehensive understanding of multimedia data. However, as these models become larger and more complex, they also become more challenging to train and deploy. One approach to addressing this challenge is the use of sparsely-gated mixture-of-experts (MoE) techniques, which divide the model into smaller, specialized sub-models that can jointly solve a task. In this paper, we explore the effectiveness of MoE in scaling vision-language models, demonstrating its potential to achieve state-of-the-art performance on a range of benchmarks over dense models of equivalent computational cost. Our research offers valuable insights into stabilizing the training of MoE models, understanding the impact of MoE on model interpretability, and balancing the trade-offs between compute performance when scaling VLMs. We hope our work will inspire further research into the use of MoE for scaling large-scale vision-language models and other multimodal machine learning applications.
• Abstract（参考訳）: 自然言語処理(NLP)の分野は近年、特に大規模視覚言語モデル(VLM)の開発において大きな進歩を遂げている。 これらのモデルは、テキストと視覚情報のギャップを埋めることを目的としており、マルチメディアデータのより包括的な理解を可能にする。 しかし、これらのモデルがより大きく複雑になるにつれて、トレーニングやデプロイも難しくなります。 この課題に対処する1つのアプローチは、モデルをより小さく専門化されたサブモデルに分割し、共同でタスクを解決できる疎結合なmixing-of-experts(moe)技術を使用することである。 本稿では、視覚言語モデルのスケーリングにおけるMoEの有効性について検討し、等価な計算コストの高密度モデルに対するベンチマークにおいて、最先端の性能を実現する可能性を示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、VLMのスケーリング時の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。 私たちは、大規模な視覚言語モデルやその他のマルチモーダル機械学習アプリケーションのスケーリングにMoEを使用することについて、さらなる研究を期待しています。

関連論文リスト

• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• A Survey on Mixture of Experts [11.801185267119298]
  モデルキャパシティを最小限のオーバーヘッドでスケールアップする有効な方法として、専門家(MoE)の混在が現れた。 MoEは、最小限のオーバーヘッドでモデルキャパシティを実質的にスケールアップする効果的な方法として登場した。 この調査は、このギャップを埋めることを目指しており、MoEの複雑さを探求する研究者にとって不可欠なリソースとなっている。
  論文  参考訳（メタデータ） (2024-06-26T16:34:33Z)
• What matters when building vision-language models? [52.8539131958858]
  我々は、80億のパラメータを持つ効率的な基礎的視覚言語モデルであるIdefics2を開発した。 Idefics2は、様々なマルチモーダルベンチマークで、そのサイズカテゴリ内で最先端のパフォーマンスを達成する。 トレーニング用に作成されたデータセットとともに、モデル(ベース、指示、チャット)をリリースします。
  論文  参考訳（メタデータ） (2024-05-03T17:00:00Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Veagle: Advancements in Multimodal Representation Learning [0.0]
  本稿では,既存モデルのマルチモーダル能力を向上するための新しいアプローチを提案する。 提案したモデルであるVeagleは、以前の作品の成功と洞察にインスパイアされたユニークなメカニズムを取り入れています。 以上の結果から,Veagleは既存のモデルよりも優れた性能を示し,性能は5-6%向上した。
  論文  参考訳（メタデータ） (2024-01-18T12:45:25Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。