論文の概要: Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning

• arxiv url: http://arxiv.org/abs/2503.05641v2
• Date: Tue, 11 Mar 2025 21:40:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 12:14:51.048244
• Title: Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning
• Title（参考訳）: シンボリック・ミックス・オブ・エキスパート:不均一推論のための適応的スキルベースルーティング
• Authors: Justin Chih-Yao Chen, Sukwon Yun, Elias Stengel-Eskin, Tianlong Chen, Mohit Bansal,
• Abstract要約: シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。 我々は,Sybolic-MoEのインスタンスレベルのエキスパート選択により,大きなマージンで性能が向上することを示した。
• 参考スコア（独自算出の注目度）: 76.10639521319382
• License:
• Abstract: Combining existing pre-trained expert LLMs is a promising avenue for scalably tackling large-scale and diverse tasks. However, selecting experts at the task level is often too coarse-grained, as heterogeneous tasks may require different expertise for each instance. To enable adaptive instance-level mixing of pre-trained LLM experts, we propose Symbolic-MoE, a symbolic, text-based, and gradient-free Mixture-of-Experts framework. Symbolic-MoE takes a fine-grained approach to selection by emphasizing skills, e.g., algebra in math or molecular biology in biomedical reasoning. We propose a skill-based recruiting strategy that dynamically selects the most relevant set of expert LLMs for diverse reasoning tasks based on their strengths. Each selected expert then generates its own reasoning, resulting in k outputs from k experts, which are then synthesized into a final high-quality response by an aggregator chosen based on its ability to integrate diverse reasoning outputs. We show that Symbolic-MoE's instance-level expert selection improves performance by a large margin but -- when implemented naively -- can introduce a high computational overhead due to the need for constant model loading and offloading. To address this, we implement a batch inference strategy that groups instances based on their assigned experts, loading each model only once. This allows us to integrate 16 expert models on 1 GPU with a time cost comparable to or better than prior multi-agent baselines using 4 GPUs. Through extensive evaluations on diverse benchmarks (MMLU-Pro, GPQA, AIME, and MedMCQA), we demonstrate that Symbolic-MoE outperforms strong LLMs like GPT4o-mini, as well as multi-agent approaches, with an absolute average improvement of 8.15% over the best multi-agent baseline. Moreover, Symbolic-MoE removes the need for expensive multi-round discussions, outperforming discussion baselines with less computation.
• Abstract（参考訳）: 既存のトレーニング済みのエキスパートLLMを組み合わせることは、大規模で多様なタスクに取り組む上で有望な道です。 しかし、タスクレベルでのエキスパートの選択は、不均一なタスクがインスタンスごとに異なる専門知識を必要とするため、大きすぎることが多い。 事前学習したLLMエキスパートの適応型インスタンスレベル混合を実現するために,シンボル型,テキストベース,およびグラデーションフリーなMixture-of-ExpertsフレームワークであるSymbolic-MoEを提案する。 シンボリック-MoEは、数学における代数や生物医学的推論における分子生物学のスキルを強調することによって、選択にきめ細かいアプローチをとる。 本稿では,スキルベースの採用戦略を提案する。その強みに基づいて,多種多様な推論タスクに対して,最も関連性の高い専門家LLMを動的に選択する。 選択された専門家はそれぞれ独自の推論を生成し、その結果 k の専門家から k 個の出力が生成され、様々な推論出力を統合する能力に基づいて選択されたアグリゲータによって最終的な高品質な応答に合成される。 我々は,Sybolic-MoEのインスタンスレベルのエキスパート選択によって,大きなマージンでパフォーマンスが向上することを示した。 これを解決するために、割り当てられた専門家に基づいてインスタンスをグループ化し、各モデルを一度だけロードするバッチ推論戦略を実装します。 これにより、1つのGPUに16のエキスパートモデルを統合することができ、4つのGPUを使用して、以前のマルチエージェントベースラインに匹敵する、あるいはそれ以上の時間コストがかかります。 多様なベンチマーク (MMLU-Pro, GPQA, AIME, MedMCQA) の広範な評価を通じて, シンボリックMoEは, GPT4o-mini などの強力な LLM やマルチエージェントアプローチよりも優れ, 最高のマルチエージェントベースラインよりも8.15% 向上していることを示す。 さらに、Sybolic-MoEは高価なマルチラウンドの議論の必要性を排除し、より少ない計算で議論のベースラインを上回ります。

関連論文リスト

• MoE$^2$: Optimizing Collaborative Inference for Edge Large Language Models [43.83407446438587]
  大規模言語モデル (LLM) は、幅広い自然言語処理タスクにおいて顕著な機能を示した。 エッジLLMのための新しい協調推論フレームワークである textitMixture-of-Edge-Experts (MoE$2$) を紹介する。
  論文  参考訳（メタデータ） (2025-01-16T09:36:32Z)
• Dynamic Ensemble Reasoning for LLM Experts [35.774197263383996]
  本研究では,動的入力を前提とした複数のLLMエキスパートの強みを統合するために,DERと呼ばれる動的アンサンブル推論パラダイムを提案する。 提案手法では,最先端のベースラインに比べて計算資源が少ないため,性能が向上する。
  論文  参考訳（メタデータ） (2024-12-10T12:05:56Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [66.9481561915524]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Ada-K Routing: Boosting the Efficiency of MoE-based LLMs [6.954735360168147]
  トークンごとにアクティベートされた専門家の数を動的に調整する新しいAda-Kルーティング戦略を提案する。 我々の戦略は学習可能で軽量なアロケータモジュールを組み込んでおり、各トークンのコンテキストに応じたカスタマイズされた専門家リソース割り当てを決定する。
  論文  参考訳（メタデータ） (2024-10-14T12:50:04Z)
• HAMMR: HierArchical MultiModal React agents for generic VQA [27.78721140495953]
  計数,空間的推論,OCRに基づく推論,視覚的ポインティング,外部知識など,様々なVQAタスクスイート上でシステムを評価する。 マルチモーダルなReActベースのシステムから始まり、HAMMRエージェントが他の特殊なエージェントを呼び出せるようにすることで、階層的にします。 具体的には、我々の一般的なVQAスイートでは、HAMMRは単純LLM+ツールのアプローチを19.5%上回っている。
  論文  参考訳（メタデータ） (2024-04-08T12:43:32Z)
• Harder Tasks Need More Experts: Dynamic Routing in MoE Models [58.18526590138739]
  本稿では,Mixture of Experts(MoE)モデルのための新しい動的専門家選択フレームワークを提案する。 提案手法は,各入力に対する専門家選択の信頼性レベルに基づいて,専門家を動的に選択する。
  論文  参考訳（メタデータ） (2024-03-12T13:41:15Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)
• Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models [69.51130760097818]
  本研究では,報奨誘導型ルーティング手法であるZooterを提案する。 さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
  論文  参考訳（メタデータ） (2023-11-15T04:40:43Z)
• Towards Robust Multi-Modal Reasoning via Model Selection [7.6621866737827045]
  LLMはエージェントの"脳"として機能し、協調的な多段階タスク解決のための複数のツールを編成する。 我々はテスト時に無視できるランタイムオーバーヘッドを持つプラグインとして、$textitM3$フレームワークを提案する。 実験の結果,我々のフレームワークは,ユーザ入力とサブタスク依存の両方を考慮した動的モデル選択を可能にすることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T16:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。