Fugu-MT 論文翻訳(概要): LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models

論文の概要: LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models

arxiv url: http://arxiv.org/abs/2411.00918v2
Date: Fri, 31 Oct 2025 08:05:58 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-03 15:46:16.75914
Title: LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models
Title（参考訳）: LIBMoE: 大規模言語モデルにおけるエキスパートの混在を総合的にベンチマークするためのライブラリ
Authors: Nam V. Nguyen, Thong T. Doan, Luong Tran, Van Nguyen, Quang Pham,
Abstract要約: 本稿では,再現性,効率,MoE研究のための統合フレームワークであるLibMoEを紹介する。 i) ルーティングのダイナミクス、専門家の選択パターン、ルーティングの安定性と最適性、そしてルーティングのエントロピーがタスクの特殊化とエキスパートの多様性を明らかにする方法について、包括的な分析を行う。導入障壁を低くし、評価を標準化し、包括的な分析とともに、LibMoEはMoE研究へのアクセスを拡大し、将来のイノベーションを導くための信頼性の高いベンチマークを確立します。
参考スコア（独自算出の注目度）: 7.724874639022896
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Mixture of experts (MoE) architectures have become a cornerstone for scaling up and are a key component in most large language models such as GPT-OSS, DeepSeek-V3, Llama-4, and Gemini-2.5. However, systematic research on MoE remains severely constrained by the prohibitive computational costs of training and evaluation, restricting large-scale studies accessible to most researchers. We introduce LibMoE, a unified framework for reproducible, efficient, and extensible MoE research that supports both pretraining and sparse-upcycling regimes. Beyond unified implementations, the framework provides transparent analytical tools for probing routing and expert dynamics. Leveraging this foundation, we conduct a comprehensive analysis along three dimensions: (i) routing dynamics, covering expert selection patterns, routing stability and optimality, and how routing entropy reveals task specialization and expert diversity; (ii) the effect of lightweight initialization on load balancing, demonstrating how subtle changes in router initialization shape early expert utilization; and (iii) training regime differences, revealing how sparse upcycling and full pretraining exhibit distinct routing patterns and stability profiles. By lowering the barrier to entry and standardizing evaluation, along with our comprehensive analysis, LibMoE broadens access to MoE research and establishes a reliable benchmark to guide future innovations. Project page: https://fsoft-aic.github.io/fsoft-LibMoE.github.io.
Abstract（参考訳）: 専門家の混在(MoE)アーキテクチャはスケールアップの基盤となり、GPT-OSS、DeepSeek-V3、Llama-4、Gemini-2.5といったほとんどの大規模言語モデルにおいて重要なコンポーネントとなっている。しかし、MoEの体系的な研究は、ほとんどの研究者が利用できる大規模な研究を制限し、トレーニングと評価の禁止的な計算コストに厳しく制約されている。我々は、再現性、効率的、拡張性を備えたMoE研究のための統合されたフレームワークであるLibMoEを紹介し、事前学習とスパースアップサイクル体制の両方をサポートする。統一された実装以外にも、このフレームワークはルーティングとエキスパートダイナミクスを探索するための透過的な分析ツールを提供している。この基礎を活用して、私たちは3つの次元に沿って包括的な分析を行います。一ルーティングのダイナミクス、専門家の選択パターン、ルーティングの安定性及び最適性、およびルーティングのエントロピーがタスクの特殊化及び専門家の多様性を明らかにする方法 (二)軽量初期化が負荷分散に及ぼす影響、ルータ初期化の微妙な変化が専門家の早期利用に与える影響を実証すること。三トレーニング体制の違いにより、スパースアップサイクルとフルプレトレーニングが、異なるルーティングパターンと安定性プロファイルを示すことを明らかにする。導入障壁を低くし、評価を標準化し、包括的な分析とともに、LibMoEはMoE研究へのアクセスを拡大し、将来のイノベーションを導くための信頼性の高いベンチマークを確立します。プロジェクトページ:https://fsoft-aic.github.io/fsoft-LibMoE.github.io

関連論文リスト

FLAME-MoE: A Transparent End-to-End Research Platform for Mixture-of-Experts Language Models [19.984973014373118]
FLAME-MoEは7つのデコーダのみのモデルからなる完全にオープンソースな研究スイートである。 FLAME-MoEは、同一のFLOPで訓練された密度の高いベースラインよりも平均精度を最大3.4ポイント向上させる。
論文参考訳（メタデータ） (2025-05-26T17:06:25Z)
Teamwork makes the dream work: LLMs-Based Agents for GitHub README.MD Summarization [7.330697128881243]
様々な大規模言語モデル(LLM)のシナジーを増幅するための新しいアプローチとしてメタジェンテを提案する。メタジェンテ(Metagente)は、特殊エージェント間の評価、フィードバック、協調を通じてシステムを自己最適化する一連のLLMに基づくマルチエージェントフレームワークである。最も関連するベンチマークであるGitSumと比較して、パフォーマンスの向上は27.63%から60.43%である。
論文参考訳（メタデータ） (2025-03-13T20:42:39Z)
SWE-Fixer: Training Open-Source LLMs for Effective and Efficient GitHub Issue Resolution [56.9361004704428]
大規模言語モデル(LLM)は、様々な複雑なタスクにまたがる顕著な習熟度を示している。 SWE-Fixerは、GitHubの問題を効果的かつ効率的に解決するために設計された、新しいオープンソースフレームワークである。我々は,SWE-Bench LiteとVerifiedベンチマークに対するアプローチを評価し,オープンソースモデル間の最先端性能を実現する。
論文参考訳（メタデータ） (2025-01-09T07:54:24Z)
LLMBox: A Comprehensive Library for Large Language Models [109.15654830320553]
本稿では,大規模言語モデル (LLM) の開発, 使用, 評価を容易にするために, 包括的で統一されたライブラリ LLMBox を提案する。このライブラリには,(1)多様なトレーニング戦略の柔軟な実装を支援する統一データインターフェース,(2)広範囲なタスクやデータセット,モデルをカバーする包括的な評価,(3)ユーザフレンドリさや効率性など,より実践的な考慮,という3つのメリットがある。
論文参考訳（メタデータ） (2024-07-08T02:39:33Z)
A Survey on Mixture of Experts [11.801185267119298]
モデルキャパシティを最小限のオーバーヘッドでスケールアップする有効な方法として、専門家(MoE)の混在が現れた。 MoEは、最小限のオーバーヘッドでモデルキャパシティを実質的にスケールアップする効果的な方法として登場した。この調査は、このギャップを埋めることを目指しており、MoEの複雑さを探求する研究者にとって不可欠なリソースとなっている。
論文参考訳（メタデータ） (2024-06-26T16:34:33Z)
A Closer Look into Mixture-of-Experts in Large Language Models [26.503570706063634]
エクササイズ・オブ・エクササイズ(Mixture-of-experts, MOE)は,その特性と顕著な性能から注目を集めている。 MoEアーキテクチャは計算効率を犠牲にすることなくモデルサイズを増大させることができる。本稿は,MoEベースの大規模言語モデルの内部動作を理解するための最初の試みである。
論文参考訳（メタデータ） (2024-06-26T10:07:57Z)
UltraEval: A Lightweight Platform for Flexible and Comprehensive Evaluation for LLMs [74.1976921342982]
本稿では,ユーザフレンドリな評価フレームワークであるUltraEvalを紹介し,その軽量性,包括性,モジュール性,効率性を特徴とする。その結果のコンポーザビリティにより、統一された評価ワークフロー内で、さまざまなモデル、タスク、プロンプト、ベンチマーク、メトリクスを自由に組み合わせることができる。
論文参考訳（メタデータ） (2024-04-11T09:17:12Z)
OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models [44.848642930797155]
OpenMoEは、完全にオープンソースで再現可能なデコーダのみのMixture-of-Experts (MoE)ベースの大規模言語モデル(LLM)のシリーズである。本研究は,MoEをベースとしたLLMの方が高密度LLMよりも良好なコスト効率のトレードオフを提供できることを確認した。 MoEモデルにおけるルーティング決定は、主にトークンIDに基づいており、最小限のコンテキスト関連性がある。
論文参考訳（メタデータ） (2024-01-29T12:05:02Z)
MoE-LLaVA: Mixture of Experts for Large Vision-Language Models [49.32669226551026]
本稿では,LVLMのための簡易かつ効果的なトレーニング戦略であるMoE-Tuningを提案する。 MoE-LLaVAはMoEベースのスパースLVLMアーキテクチャであり、ルータを通じてトップkの専門家のみをユニークに活性化する。様々な視覚的理解と物体幻覚のベンチマークにおいて,MoE-LLaVAの顕著な性能を示す実験を行った。
論文参考訳（メタデータ） (2024-01-29T08:13:40Z)
CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文参考訳（メタデータ） (2023-12-01T08:02:16Z)
Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE [83.00018517368973]
LLM(Large Language Models)は、命令チューニングを通じて、ゼロショット能力をマルチモーダル学習に拡張することができる。ネガティブな対立や干渉はパフォーマンスに悪影響を及ぼすかもしれない我々は、よく知られたMixture-of-Experts(MoE)と代表的なPEFT技法の1つであるLoRA(LoRA-MoE)を組み合わせて、マルチモーダル学習のための新しいLLMベースのデコーダ(LoRA-MoE)を設計する。
論文参考訳（メタデータ） (2023-11-05T15:48:29Z)
MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。本稿では,MLLM 評価ベンチマーク MME について述べる。知覚能力と認知能力の両方を合計14のサブタスクで測定する。
論文参考訳（メタデータ） (2023-06-23T09:22:36Z)
FedML: A Research Library and Benchmark for Federated Machine Learning [55.09054608875831]
フェデレート・ラーニング(Federated Learning, FL)は、機械学習の分野で急速に成長している研究分野である。既存のFLライブラリは多様なアルゴリズム開発を適切にサポートできない。 FLアルゴリズムの開発と公正な性能比較を容易にするための,オープンな研究ライブラリとベンチマークであるFedMLを紹介する。
論文参考訳（メタデータ） (2020-07-27T13:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。