論文の概要: Mastering the Minority: An Uncertainty-guided Multi-Expert Framework for Challenging-tailed Sequence Learning
- arxiv url: http://arxiv.org/abs/2603.15708v1
- Date: Mon, 16 Mar 2026 13:34:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:06.899953
- Title: Mastering the Minority: An Uncertainty-guided Multi-Expert Framework for Challenging-tailed Sequence Learning
- Title（参考訳）: マイノリティをマスターする: 整合型シーケンス学習のための不確実性誘導型マルチエキスパートフレームワーク
- Authors: Ye Wang, Zixuan Wu, Lifeng Shen, Jiang Xie, Xiaoling Wang, Hong Yu, Guoyin Wang,
- Abstract要約: 本稿では,Uncertainty-based Multi-Expert fusion Network (UME) フレームワークを提案し,マイノリティクラスを効果的にマスターする。
まず、パラメータ効率のモデリングにEnsemble LoRAを使用し、トレーニング可能なパラメータ数を著しく削減します。
トレーニング可能なパラメータを最大10.32%削減しながら、個々のカテゴリで最高のベースラインで最大17.97%のパフォーマンス向上を実現しています。
- 参考スコア（独自算出の注目度）: 34.71004757894417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Imbalanced data distribution remains a critical challenge in sequential learning, leading models to easily recognize frequent categories while failing to detect minority classes adequately. The Mixture-of-Experts model offers a scalable solution, yet its application is often hindered by parameter inefficiency, poor expert specialization, and difficulty in resolving prediction conflicts. To Master the Minority classes effectively, we propose the Uncertainty-based Multi-Expert fusion network (UME) framework. UME is designed with three core innovations: First, we employ Ensemble LoRA for parameter-efficient modeling, significantly reducing the trainable parameter count. Second, we introduce Sequential Specialization guided by Dempster-Shafer Theory (DST), which ensures effective specialization on the challenging-tailed classes. Finally, an Uncertainty-Guided Fusion mechanism uses DST's certainty measures to dynamically weigh expert opinions, resolving conflicts by prioritizing the most confident expert for reliable final predictions. Extensive experiments across four public hierarchical text classification datasets demonstrate that UME achieves state-of-the-art performance. We achieve a performance gain of up to 17.97\% over the best baseline on individual categories, while reducing trainable parameters by up to 10.32\%. The findings highlight that uncertainty-guided expert coordination is a principled strategy for addressing challenging-tailed sequence learning. Our code is available at https://github.com/CQUPTWZX/Multi-experts.
- Abstract（参考訳）: 不均衡なデータ分散は、逐次学習において重要な課題であり、モデルがマイノリティクラスを適切に検出できないまま、頻繁なカテゴリを容易に認識できるようにする。
Mixture-of-Expertsモデルはスケーラブルなソリューションを提供するが、そのアプリケーションはパラメータの非効率性、専門家の専門性不足、予測競合を解決することの難しさによってしばしば妨げられる。
マイノリティクラスを効果的にマスターするために,不確実性に基づくMulti-Expert fusion Network (UME) フレームワークを提案する。
まず、パラメータ効率のモデリングにEnsemble LoRAを使用し、トレーニング可能なパラメータ数を著しく削減します。
次に、DST(Dempster-Shafer Theory)によって導かれるシークエンシャルスペシャライゼーションを導入する。
最後に、不確実性誘導核融合機構はDSTの確実性を使って専門家の意見を動的に評価し、信頼性の高い最終予測のために最も自信のある専門家を優先順位付けすることで紛争を解決する。
4つの公的な階層的なテキスト分類データセットの大規模な実験は、UMEが最先端のパフォーマンスを達成することを示す。
トレーニング可能なパラメータを最大10.32\%削減しながら、各カテゴリの最高のベースラインに対して最大17.97\%のパフォーマンス向上を実現しています。
この結果から,不確実性誘導型エキスパートコーディネートは,課題付きシーケンス学習に対処するための原則的戦略であることが示唆された。
私たちのコードはhttps://github.com/CQUPTWZX/Multi-experts.comで利用可能です。
関連論文リスト
- Theory and Algorithms for Learning with Multi-Class Abstention and Multi-Expert Deferral [20.76255397215973]
大規模言語モデル(LLM)は目覚ましい性能を達成したが、幻覚や高い推論コストといった重要な課題に直面している。
より有能な専門家に不確実なインプットを延期することで、信頼性が向上する。
この論文は、強い一貫性の保証によって支持される、この問題と、それに関連する禁断学習の問題を包括的に研究している。
論文 参考訳（メタデータ） (2025-12-28T11:33:39Z) - LEAF: A Robust Expert-Based Framework for Few-Shot Continual Event Detection [7.094483187879095]
LEAFは、連続イベント検出のための新しくて堅牢なエキスパートベースのフレームワークである。
各専門家はローランク適応(LoRA)行列でパラメータ化される。
セマンティックアウェアの専門家選択機構は、インスタンスを最も関係のある専門家に動的にルーティングし、専門家の専門化と知識干渉の低減を可能にする。
論文 参考訳（メタデータ） (2025-09-29T10:00:25Z) - One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning [52.966712416640085]
本稿では,タスク固有戦略と共有プロンプト戦略の両方の利点を統合する新しいフレームワークであるSMoPEを提案する。
SMoPEはタスク固有のプロンプトメソッドを一貫して上回り、最先端のアプローチと競合する性能を達成する。
論文 参考訳（メタデータ） (2025-09-29T08:54:58Z) - Multi-Task Dense Prediction Fine-Tuning with Mixture of Fine-Grained Experts [22.936728143586443]
密集予測のためのマルチタスク学習(MTL)は有望な結果を示しているが、タスク固有の特殊化と共有表現のバランスをとる上ではまだ課題に直面している。
3つの重要なイノベーションとファインチューニングを組み合わせることで、MoEベースのMTLモデルを探索する、ファイングラインド・ミックス・オブ・エキスパートアーキテクチャを導入する。
論文 参考訳（メタデータ） (2025-07-25T08:59:30Z) - Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。
広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。
本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
論文 参考訳（メタデータ） (2025-04-10T07:50:03Z) - Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。
我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。
MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
論文 参考訳（メタデータ） (2025-03-17T19:04:38Z) - LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。
最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。
しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。
理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
論文 参考訳（メタデータ） (2024-10-01T12:58:37Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳（メタデータ） (2023-06-26T06:45:16Z) - Trustworthy Long-Tailed Classification [41.45744960383575]
本稿では,分類と不確実性評価を共同で行うために,Trustworthy Long-tailed Classification (TLC)法を提案する。
我々のTLCは、各専門家のエビデンスに基づく不確実性(EvU)とエビデンスを取得し、デプスター・シェーファー・エビデンス理論(DST)の下でこれらの不確実性とエビデンスを組み合わせる。
実験の結果,提案したTLCは最先端の手法よりも優れており,信頼性の高い不確実性に優れていた。
論文 参考訳（メタデータ） (2021-11-17T10:52:36Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳（メタデータ） (2021-07-28T05:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。