論文の概要: Dynamic Expert Pruning for Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2610.02951v1
• Date: Fri, 02 Oct 2026 07:45:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.257273
• Title: Dynamic Expert Pruning for Multi-Agent Systems
• Title（参考訳）: マルチエージェントシステムのための動的エキスパートプルーニング
• Abstract要約: Mixture-of-Experts (MoE)アーキテクチャは、トークンごとに少数の専門家をアクティベートすることで、言語モデルを効率的にスケールする。 専門家のプルーニングは、このフットプリントを減らすが、既存のメソッドは静的である。 エージェントのシステムとタスクプロンプトは、エージェントとタスクが必要とする専門家を特定するのに十分である。
• 参考スコア（独自算出の注目度）: 20.336299697023954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) architectures scale language models efficiently by activating only a few experts per token, but the saving is confined to computation: every expert must stay resident on the accelerator, so memory bounds where these models can be deployed. Expert pruning reduces this footprint, yet existing methods are static --- a single mask, calibrated offline, is applied to the model for every subsequent request. This assumption can fail when the workload is heterogeneous, most prominently in multi-agent systems, where one backbone serves many tasks and roles at once: our analysis shows that different tasks and roles recruit different experts, while static methods assign one fixed subset to all of them. We therefore propose Dynamic Expert Pruning (DEP), which rests on a finding we establish here: an agent's system and task prompts are by themselves sufficient to identify the experts that agent and its task require, since that text already describes what the agent will do. A lightweight predictor, trained once on workflow transcripts, turns those prompts into a specialized per-request mask in a single forward pass, with no per-configuration calibration. Across diverse tasks and roles, model scales, and MoE architectures, DEP achieves better overall accuracy than static pruning and merging baselines, and generalizes to workflows unseen in training without retraining. Its margin over those baselines is largest when few experts are retained, suggesting that the role specialization inherent to multi-agent systems permits sparser serving than static pruning allows.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、トークン毎に少数の専門家をアクティベートすることで、言語モデルを効率的にスケールするが、保存は計算に限られる。 専門家のプルーニングは、このフットプリントを減らすが、既存のメソッドは静的である。 この仮定は、ワークロードが不均一で、最も顕著なのはマルチエージェントシステムにおいて、1つのバックボーンが複数のタスクとロールを同時に実行する場合である。 エージェントのシステムとタスクプロンプトは、エージェントとタスクが必要とする専門家を特定するのに十分である。 ワークフローの書き起こしに基づいてトレーニングされた軽量な予測器は、これらのプロンプトを、設定ごとのキャリブレーションなしで、単一のフォワードパスで、特別な要求毎のマスクに変換する。 さまざまなタスクやロール、モデルスケール、MoEアーキテクチャにまたがって、DEPは静的プルーニングやベースラインのマージよりも全体的な精度を向上し、再トレーニングなしにトレーニングで見えないワークフローに一般化する。 これらのベースラインに対するマージンは、専門家がほとんどいない場合に最大であり、マルチエージェントシステムに固有の役割を専門化することで、静的プルーニングよりもスパーサーが機能することを許している。

関連論文リスト

• Training-free Task Classification for Multi-Task Model Merging [15.100638024422741]
  以前の研究は主に1つのマージされたモデルを見つけることに焦点を当てていたが、パラメータ干渉のため、個々の専門家を過小評価することが多い。 各テスト入力に対して、トレーニング不要なタスク分類としてルーティングを定式化する。 SiMはマージモデルのパフォーマンスを大幅に改善し、個別のタスクエキスパートへのギャップを一貫して狭めます。
  論文  参考訳（メタデータ） (2026-06-21T16:51:29Z)
• Semantically Structured Mixture-of-Experts for Compositional Robotic Manipulation [21.358519910897652]
  拡散ベースのポリシーは、正確なロボット操作のための新しい標準を確立したが、重要なスケーラビリティのボトルネックに直面している。 合成ロボット操作のためのSMODP(Semantically Structured Mixture-of-Experts Diffusion Policy)を導入する。 提案手法は,パラメータ効率が大幅に向上したマルチタスクベンチマークにおいて,代表拡散とMoEベースのベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2026-05-22T10:38:59Z)
• OFA-MAS: One-for-All Multi-Agent System Topology Design based on Mixture-of-Experts Graph Generative Models [57.94189874119267]
  マルチエージェントシステム(MAS)は複雑な問題を解決するための強力なパラダイムを提供する。 現在のグラフ学習に基づく設計手法は、しばしば「1対1」のパラダイムに準拠している。 自然言語で記述されたタスクに対して適応的な協調グラフを生成する一対一のフレームワークOFA-TADを提案する。
  論文  参考訳（メタデータ） (2026-01-19T12:23:44Z)
• Mosaic Pruning: A Hierarchical Framework for Generalizable Pruning of Mixture-of-Experts Models [18.395286169436794]
  SMOE(Sparse Mixture-of-Experts)のためのMosaic Pruning(MoP)を紹介する。 MoPは構造化クラスタ-then-selectプロセスを通じて、機能的に包括的な専門家のセットを構築する。 一つのコーパスを最適化する手法とは異なり、提案したモザイク・プルーニングは、プルーニングモデルが機能的に相補的な専門家の集合を保持することを保証します。
  論文  参考訳（メタデータ） (2025-11-25T01:24:41Z)
• Designing Domain-Specific Agents via Hierarchical Task Abstraction Mechanism [61.01709143437043]
  階層型タスク抽象化機構(HTAM)を中心とした新しいエージェント設計フレームワークを提案する。 具体的には、HTAMは、社会的役割のエミュレーションを超えて、代わりに、複数のエージェントシステムを、あるドメインの固有のタスク依存グラフを反映する論理階層に構造化する。 我々は、複雑な地理空間解析に適したマルチエージェントシステムであるEarthAgentとして、このフレームワークをインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-21T12:25:47Z)
• Multi-Agent Tool-Integrated Policy Optimization [67.12841355267678]
  大規模言語モデル(LLM)は、知識集約的かつ複雑な推論タスクに対して、多ターンツール統合計画にますます依存している。 既存の実装は通常、単一のエージェントに依存するが、コンテキスト長とノイズの多いツールレスポンスに悩まされる。 ツール統合マルチエージェントフレームワークの効果的な強化学習をサポートする方法はない。
  論文  参考訳（メタデータ） (2025-10-06T10:44:04Z)
• Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
  テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。 一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-05T12:52:09Z)
• Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning [76.10639521319382]
  シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。 GPT4o-miniのような強力なLCMやマルチエージェントアプローチに勝るSymbolic-MoEは、最高のマルチエージェントベースラインよりも8.15%向上している。
  論文  参考訳（メタデータ） (2025-03-07T18:03:13Z)
• A Unified and Efficient Coordinating Framework for Autonomous DBMS Tuning [34.85351481228439]
  既存のMLベースのエージェントを効率的に活用するための統合コーディネートフレームワークを提案する。 機械学習ベースのエージェントを効果的に利用し、ワークロードの実行時間に1.414.1Xのスピードアップでより良い設定を実現できることを示す。
  論文  参考訳（メタデータ） (2023-03-10T05:27:23Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。