論文の概要: Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning

• arxiv url: http://arxiv.org/abs/2503.05641v3
• Date: Fri, 18 Jul 2025 18:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 14:33:31.961037
• Title: Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning
• Title（参考訳）: シンボリック・ミックス・オブ・エキスパート:不均一推論のための適応的スキルベースルーティング
• Authors: Justin Chih-Yao Chen, Sukwon Yun, Elias Stengel-Eskin, Tianlong Chen, Mohit Bansal,
• Abstract要約: シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。 GPT4o-miniのような強力なLCMやマルチエージェントアプローチに勝るSymbolic-MoEは、最高のマルチエージェントベースラインよりも8.15%向上している。
• 参考スコア（独自算出の注目度）: 76.10639521319382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining existing pre-trained expert LLMs is a promising avenue for scalably tackling large-scale and diverse tasks. However, selecting task-level experts is often too coarse-grained, as heterogeneous tasks may require different expertise per instance. To enable adaptive instance-level mixing of pre-trained LLM experts, we propose Symbolic-MoE, a symbolic, text-based, and gradient-free Mixture-of-Experts framework. Symbolic-MoE takes a fine-grained approach to selection by emphasizing skills, e.g., algebra in math or molecular biology in biomedical reasoning. We propose a skill-based recruiting strategy that dynamically selects the most relevant set of expert LLMs for diverse reasoning tasks based on their strengths. Each selected expert then generates its own reasoning, resulting in k outputs from k experts, which are then synthesized into a final high-quality response by an aggregator chosen based on its ability to integrate diverse reasoning outputs. We show that Symbolic-MoE's instance-level expert selection improves performance by a large margin but -- when implemented naively -- can introduce a high computational overhead due to the need for constant model loading and offloading. To address this, we implement a batch strategy that groups instances based on their assigned experts, loading each model only once. This allows us to integrate 16 expert models on 1 GPU with a time cost comparable to or better than prior multi-agent baselines using 4 GPUs. Through extensive evaluations on diverse benchmarks (MMLU-Pro, GPQA, AIME, and MedMCQA), we show that Symbolic-MoE beats strong LLMs like GPT4o-mini, as well as multi-agent approaches, with an absolute avg. gain of 8.15% over the best multi-agent baseline. Moreover, Symbolic-MoE generalizes well to unseen tasks and removes the need for expensive multi-round discussions, outperforming discussion baselines with less computation.
• Abstract（参考訳）: 既存のトレーニング済みのエキスパートLLMを組み合わせることは、大規模で多様なタスクに取り組む上で有望な道です。 しかし、タスクレベルのエキスパートの選択は、インスタンスごとに異なる専門知識を必要とするため、大きすぎることが多い。 事前学習したLLMエキスパートの適応型インスタンスレベル混合を実現するために,シンボル型,テキストベース,およびグラデーションフリーなMixture-of-ExpertsフレームワークであるSymbolic-MoEを提案する。 シンボリック-MoEは、数学における代数や生物医学的推論における分子生物学のスキルを強調することによって、選択にきめ細かいアプローチをとる。 本稿では,スキルベースの採用戦略を提案する。その強みに基づいて,多種多様な推論タスクに対して,最も関連性の高い専門家LLMを動的に選択する。 選択された専門家はそれぞれ独自の推論を生成し、その結果 k の専門家から k 個の出力が生成され、様々な推論出力を統合する能力に基づいて選択されたアグリゲータによって最終的な高品質な応答に合成される。 我々は,Sybolic-MoEのインスタンスレベルのエキスパート選択により,大きなマージンでパフォーマンスが向上することを示した。 これを解決するために、割り当てられた専門家に基づいてインスタンスをグループ化し、各モデルを一度だけロードするバッチ戦略を実装しました。 これにより、1つのGPUに16のエキスパートモデルを統合することができ、4つのGPUを使用して、以前のマルチエージェントベースラインに匹敵する、あるいはそれ以上の時間コストがかかります。 多様なベンチマーク (MMLU-Pro, GPQA, AIME, MedMCQA) の広範な評価により, シンボリック・モーエはGPT4o-miniのような強力なLLMやマルチエージェント・アプローチを絶対的なAvgで破ることを示した。 最高のマルチエージェントベースラインよりも8.15%向上した。 さらに、Symbolic-MoEは、目に見えないタスクを一般化し、高価な複数ラウンドの議論の必要性を排除し、より少ない計算で議論のベースラインを上回ります。

関連論文リスト

• MEXA: Towards General Multimodal Reasoning with Dynamic Multi-Expert Aggregation [64.85885900375483]
  MEXAは、エキスパートモデルのモダリティおよびタスク対応アグリゲーションを実行する、トレーニング不要のフレームワークである。 我々は,ビデオ推論,オーディオ推論,3D理解,医用QAなど,多様なマルチモーダルベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2025-06-20T16:14:13Z)
• Multiple Weaks Win Single Strong: Large Language Models Ensemble Weak Reinforcement Learning Agents into a Supreme One [28.264011412168347]
  モデルアンサンブルは強化学習(RL)において有効なエージェントの訓練に有用である。 LLM-Ensは,タスク固有の意味理解を用いてRLモデルのアンサンブルを強化する手法である。
  論文  参考訳（メタデータ） (2025-05-21T09:35:43Z)
• HALO: Hierarchical Autonomous Logic-Oriented Orchestration for Multi-Agent LLM Systems [1.1930434318557155]
  階層的推論アーキテクチャに基づくマルチエージェント協調フレームワークHALOを紹介する。 具体的には、タスク分解のための高レベル計画エージェント、サブタスク固有のエージェントインスタンス化のための中レベルロール設計エージェント、サブタスク実行のための低レベル推論エージェントを組み込んだ。 ユーザの大部分がプロンプトエンジニアリングの専門知識を欠いているため、Adaptive Prompt Refinementモジュールを使用して、生クエリをタスク固有のプロンプトに変換する。
  論文  参考訳（メタデータ） (2025-05-17T04:14:03Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• MoE$^2$: Optimizing Collaborative Inference for Edge Large Language Models [43.83407446438587]
  大規模言語モデル (LLM) は、幅広い自然言語処理タスクにおいて顕著な機能を示した。 エッジLLMのための新しい協調推論フレームワークである textitMixture-of-Edge-Experts (MoE$2$) を紹介する。
  論文  参考訳（メタデータ） (2025-01-16T09:36:32Z)
• Dynamic Ensemble Reasoning for LLM Experts [35.774197263383996]
  本研究では,動的入力を前提とした複数のLLMエキスパートの強みを統合するために,DERと呼ばれる動的アンサンブル推論パラダイムを提案する。 提案手法では,最先端のベースラインに比べて計算資源が少ないため,性能が向上する。
  論文  参考訳（メタデータ） (2024-12-10T12:05:56Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [66.9481561915524]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Ada-K Routing: Boosting the Efficiency of MoE-based LLMs [6.954735360168147]
  トークンごとにアクティベートされた専門家の数を動的に調整する新しいAda-Kルーティング戦略を提案する。 我々の戦略は学習可能で軽量なアロケータモジュールを組み込んでおり、各トークンのコンテキストに応じたカスタマイズされた専門家リソース割り当てを決定する。
  論文  参考訳（メタデータ） (2024-10-14T12:50:04Z)
• HAMMR: HierArchical MultiModal React agents for generic VQA [27.78721140495953]
  計数,空間的推論,OCRに基づく推論,視覚的ポインティング,外部知識など,様々なVQAタスクスイート上でシステムを評価する。 マルチモーダルなReActベースのシステムから始まり、HAMMRエージェントが他の特殊なエージェントを呼び出せるようにすることで、階層的にします。 具体的には、我々の一般的なVQAスイートでは、HAMMRは単純LLM+ツールのアプローチを19.5%上回っている。
  論文  参考訳（メタデータ） (2024-04-08T12:43:32Z)
• Harder Tasks Need More Experts: Dynamic Routing in MoE Models [58.18526590138739]
  本稿では,Mixture of Experts(MoE)モデルのための新しい動的専門家選択フレームワークを提案する。 提案手法は,各入力に対する専門家選択の信頼性レベルに基づいて,専門家を動的に選択する。
  論文  参考訳（メタデータ） (2024-03-12T13:41:15Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)
• Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models [69.51130760097818]
  本研究では,報奨誘導型ルーティング手法であるZooterを提案する。 さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
  論文  参考訳（メタデータ） (2023-11-15T04:40:43Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
  大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。 アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。 この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• Towards Robust Multi-Modal Reasoning via Model Selection [7.6621866737827045]
  LLMはエージェントの"脳"として機能し、協調的な多段階タスク解決のための複数のツールを編成する。 我々はテスト時に無視できるランタイムオーバーヘッドを持つプラグインとして、$textitM3$フレームワークを提案する。 実験の結果,我々のフレームワークは,ユーザ入力とサブタスク依存の両方を考慮した動的モデル選択を可能にすることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T16:06:18Z)
• Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
  多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。 実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。 人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
  論文  参考訳（メタデータ） (2023-05-24T02:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。