論文の概要: MoB: Mixture of Bidders

• arxiv url: http://arxiv.org/abs/2512.10969v1
• Date: Sun, 30 Nov 2025 21:20:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-21 14:22:08.671102
• Title: MoB: Mixture of Bidders
• Title（参考訳）: MoB: バイダーの混合
• Authors: Dev Vyas,
• Abstract要約: 分散経済メカニズムとして専門家のルーティングを再認識する新しいフレームワークであるMixture of Bidders(MoB)を紹介する。 MoBは学習したゲーティングネットワークをVickrey-Clarke-Grovesオークションに置き換える。 Split-MNISTベンチマークでは、MoBの平均精度は88.77%で、Gated MoEは19.54%、モノリシックEWCは27.96%である。
• 参考スコア（独自算出の注目度）: 0.5414847001704249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture of Experts (MoE) architectures have demonstrated remarkable success in scaling neural networks, yet their application to continual learning remains fundamentally limited by a critical vulnerability: the learned gating network itself suffers from catastrophic forgetting. We introduce Mixture of Bidders (MoB), a novel framework that reconceptualizes expert routing as a decentralized economic mechanism. MoB replaces learned gating networks with Vickrey-Clarke-Groves (VCG) auctions, where experts compete for each data batch by bidding their true cost -- a principled combination of execution cost (predicted loss) and forgetting cost (Elastic Weight Consolidation penalty). This game-theoretic approach provides three key advantages: (1) {stateless routing that is immune to catastrophic forgetting, (2) \textbf{truthful bidding} guaranteed by dominant-strategy incentive compatibility, and (3) emergent specialization without explicit task boundaries. On Split-MNIST benchmarks, MoB achieves 88.77% average accuracy compared to 19.54% for Gated MoE and 27.96% for Monolithic EWC, representing a 4.5 times improvement over the strongest baseline. We further extend MoB with autonomous self-monitoring experts that detect their own knowledge consolidation boundaries, eliminating the need for explicit task demarcation.
• Abstract（参考訳）: ニューラルネットワークのスケーリングにおいて、Mixture of Experts(MoE)アーキテクチャは目覚ましい成功を収めていますが、継続的な学習への応用は、致命的な脆弱性によって、基本的に制限されています。 分散化経済メカニズムとしてエキスパートルーティングを再認識する新しいフレームワークであるMixture of Bidders(MoB)を紹介する。 MoBは学習したゲーティングネットワークをVickrey-Clarke-Groves(VCG)オークションに置き換える。このオークションでは、専門家が真のコスト -- 実行コスト(予測損失)と忘れるコスト(Elastic Weight Consolidation penalty)の原則の組み合わせ -- を入札して、各データバッチに対して競う。 このゲーム理論のアプローチは、(1)破滅的忘れに免疫を持つ状態のないルーティング、(2)支配的戦略的インセンティブの互換性によって保証される \textbf{truthful bidding}、(3)明示的なタスク境界のない創発的特殊化の3つの主要な利点を提供する。 Split-MNISTベンチマークでは、Gated MoEの19.54%、モノリシックEWCの27.96%に対して、MoBの平均精度は88.77%に達した。 我々はさらに、MoBを自律的な自己監視の専門家によって拡張し、自身の知識の統合境界を検知し、明示的なタスク分割の必要性を排除します。

関連論文リスト

• Exploiting the Experts: Unauthorized Compression in MoE-LLMs [1.580774794371876]
  タスク固有の使用条件下でのMoE-LLMの刈取性について検討した。 我々は,MoEモデルを許可なく圧縮・微調整しにくくすることを目的とした防衛戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-22T20:08:29Z)
• MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
  我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
  論文  参考訳（メタデータ） (2025-11-19T18:48:27Z)
• Who Speaks for the Trigger? Dynamic Expert Routing in Backdoored Mixture-of-Experts Transformers [12.47462301643593]
  大規模言語モデル (LLM) とMixture-of-Experts (MoE) アーキテクチャは、専門家として知られる専門職に入力を動的にルーティングすることで、優れたパフォーマンスと効率を達成する。 我々は,タスク結合型動的トリガ最適化と感性誘導型Top-Sエキスパートトレース機構を統合した,新しいバックドアフレームワークであるBadSwitchを提案する。
  論文  参考訳（メタデータ） (2025-10-15T12:11:02Z)
• MOS: Towards Effective Smart Contract Vulnerability Detection through Mixture-of-Experts Tuning of Large Language Models [16.16186929130931]
  スマートコントラクトの脆弱性は、ブロックチェーンシステムに重大なセキュリティリスクをもたらす。 本稿では,大規模言語モデルのミックス・オブ・エキスパート・チューニング(MOE-Tuning)に基づくスマートコントラクト脆弱性検出フレームワークを提案する。 実験の結果、MOSはF1のスコアが6.32%、精度が4.80%の平均的な改善で既存の手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-04-16T16:33:53Z)
• Unified Sparse Mixture of Experts [14.774596844618396]
  SMOE(Sparse Mixture of Experts)モデルは、一定の計算オーバーヘッドを維持しながら、モデルのキャパシティをスケールする。 本稿では,これらの制約に対処する統一スパース・ミックス・オブ・エキスパート(USMoE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-29T07:15:12Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• Expert-Token Resonance MoE: Bidirectional Routing with Efficiency Affinity-Driven Active Selection [19.365009652356793]
  エキスパート-トークン共鳴(ETR)は、専門家-トークン相互作用を再想像する理論的な双方向ルーティング機構である。 ETRは、ベースラインのMoE実装と比較して、エンドツーエンドのトレーニング効率が5.4%-46.6%向上している。
  論文  参考訳（メタデータ） (2024-05-24T02:50:44Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• G$^2$uardFL: Safeguarding Federated Learning Against Backdoor Attacks through Attributed Client Graph Clustering [116.4277292854053]
  Federated Learning (FL)は、データ共有なしで協調的なモデルトレーニングを提供する。 FLはバックドア攻撃に弱いため、有害なモデル重みがシステムの整合性を損なう。 本稿では、悪意のあるクライアントの識別を属性グラフクラスタリング問題として再解釈する保護フレームワークであるG$2$uardFLを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:15:04Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。