Fugu-MT 論文翻訳(概要): Mixture of Experts in Image Classification: What's the Sweet Spot?

論文の概要: Mixture of Experts in Image Classification: What's the Sweet Spot?

arxiv url: http://arxiv.org/abs/2411.18322v1
Date: Wed, 27 Nov 2024 13:23:11 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-28 15:27:47.852719
Title: Mixture of Experts in Image Classification: What's the Sweet Spot?
Title（参考訳）: 画像分類のエキスパートの混在:スイートスポットとは?
Authors: Mathurin Videau, Alessandro Leite, Marc Schoenauer, Olivier Teytaud,
Abstract要約: Mixture-of-Experts (MoE)モデルは、様々な領域にまたがるパラメータ効率のスケーリングの可能性を示している。本研究では、コンピュータビジョンモデルにおけるMoEの統合について検討し、オープンデータセット上で様々なMoE構成を探索する。
参考スコア（独自算出の注目度）: 45.461506988071534
License:
Abstract: Mixture-of-Experts (MoE) models have shown promising potential for parameter-efficient scaling across various domains. However, the implementation in computer vision remains limited, and often requires large-scale datasets comprising billions of samples. In this study, we investigate the integration of MoE within computer vision models and explore various MoE configurations on open datasets. When introducing MoE layers in image classification, the best results are obtained for models with a moderate number of activated parameters per sample. However, such improvements gradually vanish when the number of parameters per sample increases.
Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、様々な領域にまたがるパラメータ効率のスケーリングの可能性を示している。しかし、コンピュータビジョンの実装は限定的であり、数十億のサンプルからなる大規模なデータセットを必要とすることが多い。本研究では、コンピュータビジョンモデルにおけるMoEの統合について検討し、オープンデータセット上で様々なMoE構成を探索する。画像分類にMoE層を導入する際には、各サンプルあたりの活性パラメータが適度に活性化されたモデルに対して最もよい結果が得られる。しかし、サンプル当たりのパラメータ数が増加すると、このような改善は徐々に消えていく。

関連論文リスト

Multi-Scale and Multimodal Species Distribution Modeling [4.022195138381868]
種分布モデル (SDM) は, 発生データと環境変数の分布を予測することを目的としている。 SDMへのディープラーニングの最近の応用は、特に空間データを含む新しい道を可能にしている。我々はSDMのモジュール構造を開発し、シングルスケールとマルチスケールの両方でスケールの効果をテストする。 GeoLifeCLEF 2023ベンチマークの結果は、マルチモーダルデータとマルチスケール表現の学習を考えると、より正確なモデルが得られることを示している。
論文参考訳（メタデータ） (2024-11-06T15:57:20Z)
DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
論文参考訳（メタデータ） (2024-05-24T05:46:04Z)
FissionFusion: Fast Geometric Generation and Hierarchical Souping for Medical Image Analysis [0.7751705157998379]
十分に注釈付けされた医療データセットの不足は、ImageNetのような広範なデータセットやCLIPのような事前訓練されたモデルからの移行学習を活用する必要がある。モデルスープは、In-Domain(ID)タスクのパフォーマンスを改善し、out-of-Distribution(OOD)データセットに対する堅牢性を高めることを目的とした、複数の微調整されたモデルの平均である。本稿では,様々なレベルのモデルの局所的および大域的集約を伴う階層的統合手法を提案する。
論文参考訳（メタデータ） (2024-03-20T06:48:48Z)
The Importance of Downstream Networks in Digital Pathology Foundation Models [1.689369173057502]
162のアグリゲーションモデル構成を持つ3つの異なるデータセットにまたがる7つの特徴抽出モデルを評価する。多くの特徴抽出器モデルの性能は顕著に類似していることが判明した。
論文参考訳（メタデータ） (2023-11-29T16:54:25Z)
StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。本研究は,各種データセットを対象とした総合的な実験を含む。
論文参考訳（メタデータ） (2023-08-20T12:43:52Z)
Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2023-03-13T16:00:31Z)
Few-Shot Diffusion Models [15.828257653106537]
条件付きDDPMを利用した数ショット生成のためのフレームワークであるFew-Shot Diffusion Models (FSDM)を提案する。 FSDMは、画像パッチ情報を集約することにより、所定のクラスからの小さな画像集合に条件付けされた生成プロセスに適応するように訓練される。 FSDMが数ショット生成を行い、新しいデータセットに転送できることを実証的に示す。
論文参考訳（メタデータ） (2022-05-30T23:20:33Z)
Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
論文参考訳（メタデータ） (2021-02-08T20:08:50Z)
Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。