論文の概要: When More Experts Hurt: Underfitting in Multi-Expert Learning to Defer
- arxiv url: http://arxiv.org/abs/2602.17144v1
- Date: Thu, 19 Feb 2026 07:45:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-20 15:21:28.804006
- Title: When More Experts Hurt: Underfitting in Multi-Expert Learning to Defer
- Title（参考訳）: 専門家が集まるとき - マルチエキスパートの学習に不適当
- Authors: Shuqi Liu, Yuzhou Cao, Lei Feng, Bo An, Luke Ong,
- Abstract要約: マルチエキスパートのL2Dは、シングルエキスパートのケースよりも根本的に難しい。
本稿では,実証的証拠に基づいて信頼性の高い専門家を適応的に識別する代理手法であるPiCCEを提案する。
- 参考スコア（独自算出の注目度）: 28.815942679585273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning to Defer (L2D) enables a classifier to abstain from predictions and defer to an expert, and has recently been extended to multi-expert settings. In this work, we show that multi-expert L2D is fundamentally more challenging than the single-expert case. With multiple experts, the classifier's underfitting becomes inherent, which seriously degrades prediction performance, whereas in the single-expert setting it arises only under specific conditions. We theoretically reveal that this stems from an intrinsic expert identifiability issue: learning which expert to trust from a diverse pool, a problem absent in the single-expert case and renders existing underfitting remedies failed. To tackle this issue, we propose PiCCE (Pick the Confident and Correct Expert), a surrogate-based method that adaptively identifies a reliable expert based on empirical evidence. PiCCE effectively reduces multi-expert L2D to a single-expert-like learning problem, thereby resolving multi expert underfitting. We further prove its statistical consistency and ability to recover class probabilities and expert accuracies. Extensive experiments across diverse settings, including real-world expert scenarios, validate our theoretical results and demonstrate improved performance.
- Abstract（参考訳）: Learning to Defer (L2D)は、分類器が予測を棄却し、専門家に延期することを可能にし、最近マルチエキスパート設定に拡張された。
本研究では,マルチエキスパートL2Dがシングルエキスパートの場合よりも根本的に困難であることを示す。
複数の専門家によって、分類器の不適合は固有のものとなり、予測性能が著しく低下する一方、シングルエキスパート設定では特定の条件下でのみ発生する。
多様なプールからどの専門家を信頼するかを学ぶこと、単一専門家のケースに欠けている問題、既存の未適合の治療法が失敗したことなどである。
この問題に対処するために,実証的証拠に基づいて信頼性の高い専門家を適応的に識別する代理手法であるPiCCE(Pick the Confident and Correct Expert)を提案する。
PiCCEは、マルチエキスパートのL2Dをシングルエキスパートのような学習問題に効果的に還元し、マルチエキスパートの不適合を解消する。
さらに、その統計的一貫性と、クラス確率と専門家の精度を回復する能力の証明を行う。
実世界のエキスパートシナリオを含むさまざまな設定にわたる大規模な実験は、我々の理論結果を検証し、性能の改善を実証します。
関連論文リスト
- SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。
プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。
また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
論文 参考訳（メタデータ） (2026-02-02T11:47:06Z) - Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
本研究では,大規模MoEモデルにおける領域の特殊化と専門的冗長性について検討する。
本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。
DeepSeek-R1とDeepSeek-V3-0324の実験は、我々の手法が同じメモリ予算の下で同等の性能と2.99タイムのスループットを達成できることを示した。
論文 参考訳（メタデータ） (2025-04-09T11:34:06Z) - Finding Fantastic Experts in MoEs: A Unified Study for Expert Dropping Strategies and Observations [86.90549830760513]
わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。
多様な視点から専門家の重要度を推定するためのベンチマークとして,MoE Experts Compression Suite (MC-Suite)を提案する。
我々は,SMoEsの指示追従能力が主に損なわれるという,実験的に検証された予想を提示する。
論文 参考訳（メタデータ） (2025-04-08T00:49:08Z) - Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。
MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。
標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
論文 参考訳（メタデータ） (2025-03-05T06:11:24Z) - Expert-Agnostic Learning to Defer [4.171294900540735]
本稿では,ベイズ的手法を応用した新しいL2DフレームワークであるEA-L2Dについて紹介する。
EA-L2Dは、未確認の専門家に対する事前の手法を著しく上回り、28%の相対的な改善を達成している。
論文 参考訳（メタデータ） (2025-02-14T19:59:25Z) - HoME: Hierarchy of Multi-Gate Experts for Multi-Task Learning at Kuaishou [19.113649341888532]
クアイショーのショートビデオサービスで学んだ実践的問題と教訓について紹介する。
業界では、広く使われているマルチタスクフレームワークはMixture-of-Experts(MoE)パラダイムである。
論文 参考訳（メタデータ） (2024-08-10T04:25:48Z) - Learning More Generalized Experts by Merging Experts in Mixture-of-Experts [0.5221459608786241]
共有層をエキスパートの混合体に組み込むことで性能が低下する可能性があることを示す。
2つの最も頻度の高い専門家を合併し、最も頻度の低い専門家を専門家の組み合わせを使って更新します。
本アルゴリズムは,多領域タスクインクリメンタル学習に適用した場合に,伝達学習を強化し,破滅的な忘れを緩和する。
論文 参考訳（メタデータ） (2024-05-19T11:55:48Z) - Inverse Reinforcement Learning with Sub-optimal Experts [56.553106680769474]
与えられた専門家の集合と互換性のある報酬関数のクラスの理論的性質について検討する。
以上の結果から,複数の準最適専門家の存在が,相反する報酬の集合を著しく減少させる可能性が示唆された。
我々は,最適なエージェントの1つに十分近い準最適専門家のパフォーマンスレベルが最適である場合に,最小限の最適化を行う一様サンプリングアルゴリズムを解析する。
論文 参考訳（メタデータ） (2024-01-08T12:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。