Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search
Abstractの概要
本論文は、LEMURエコシステム内において、4つの多様なエキスパートからなる混合エキスパート（MoE4）ビジョンモデルを体系的に生成・評価するための自動化パイプラインを提示している。この手法は、手動でのMoE設計を、決定論的なコード構成、複数段階の検証、およびフォールトトレラントな自動化キャンペーンに置き換え、29のベースアーキテクチャファミリーの組み合わせに対する大規模な探索を可能にする。CIFAR-10を用いた28日間のキャンペーンでは、システムは197バッチにわたって4,463個の候補モデルを生成し、1,021個のモデルが評価を正常に完了した。本研究はまた、失敗モードや探索空間の挙動を分析し、失敗の大半がGPUメモリ制限によるものであり、探索された組み合わせが列挙スキームによって意図せず偏っていたことを示している。
新規性
主な新規性は、決定論的なコード生成、事前検証、および長期のキャンペーンオーケストレーションを含み、モデルデータベースから直接多様な4エキスパートMoEアーキテクチャを組み立てるための自動化されたエンドツーエンドのパイプラインである。さらに、ソートされた組み合わせ列挙によって引き起こされた探索空間の網羅性の偏りを明示的に診断し、ランダム化に基づく具体的な修正案を提示した点が重要な貢献である。
成果
キャンペーンにおいて1,021個のMoE4モデルの評価に成功したが、失敗事例の99.7%はCUDAのメモリ不足（OOM）エラーであった。探索されたAirNetを固定したサブセットにおいて、最高のモデル（AirNet + AlexNet + DPN68 + ResNet）は1学習エポック後にCIFAR-10で0.6801のTop-1精度に達し、ファミリーレベルの分析では平均精度の観点からShuffleNetとMobileNetV3が最も好ましい共存エキスパートであることが判明した。
論文の注目点
- パイプラインは、決定論的なモデル構成、構文およびフォワードパスの検証、重複排除、ならびに再開可能なバッチ自動化を組み合わせて、大規模なMoE4探索をサポートする。
- 事後分析により、辞書式列挙によって試行されたすべての構成がAirNetファミリーに固定されてしまったため、探索が理論上の23,751通りの組み合わせのうちわずか4.8%しかカバーしていないことが判明した。
- 成功したAirNet固定モデルの中で、ShuffleNetとMobileNetV3は最高の平均精度を示した一方、FractalNetとMNASNetは失敗率が高い、あるいは性能が低いため不適切な候補であった。