論文の概要: Theory and Algorithms for Learning with Multi-Class Abstention and Multi-Expert Deferral
- arxiv url: http://arxiv.org/abs/2512.22886v1
- Date: Sun, 28 Dec 2025 11:33:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-30 22:37:30.270624
- Title: Theory and Algorithms for Learning with Multi-Class Abstention and Multi-Expert Deferral
- Title（参考訳）: マルチクラス留意とマルチエキスパートデフレによる学習の理論とアルゴリズム
- Authors: Anqi Mao,
- Abstract要約: 大規模言語モデル(LLM)は目覚ましい性能を達成したが、幻覚や高い推論コストといった重要な課題に直面している。
より有能な専門家に不確実なインプットを延期することで、信頼性が向上する。
この論文は、強い一貫性の保証によって支持される、この問題と、それに関連する禁断学習の問題を包括的に研究している。
- 参考スコア（独自算出の注目度）: 20.76255397215973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have achieved remarkable performance but face critical challenges: hallucinations and high inference costs. Leveraging multiple experts offers a solution: deferring uncertain inputs to more capable experts improves reliability, while routing simpler queries to smaller, distilled models enhances efficiency. This motivates the problem of learning with multiple-expert deferral. This thesis presents a comprehensive study of this problem and the related problem of learning with abstention, supported by strong consistency guarantees. First, for learning with abstention (a special case of deferral), we analyze score-based and predictor-rejector formulations in multi-class classification. We introduce new families of surrogate losses and prove strong non-asymptotic, hypothesis set-specific consistency guarantees, resolving two existing open questions. We analyze both single-stage and practical two-stage settings, with experiments on CIFAR-10, CIFAR-100, and SVHN demonstrating the superior performance of our algorithms. Second, we address general multi-expert deferral in classification. We design new surrogate losses for both single-stage and two-stage scenarios and prove they benefit from strong $H$-consistency bounds. For the two-stage scenario, we show that our surrogate losses are realizable $H$-consistent for constant cost functions, leading to effective new algorithms. Finally, we introduce a novel framework for regression with deferral to address continuous label spaces. Our versatile framework accommodates multiple experts and various cost structures, supporting both single-stage and two-stage methods. It subsumes recent work on regression with abstention. We propose new surrogate losses with proven $H$-consistency and demonstrate the empirical effectiveness of the resulting algorithms.
- Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい性能を達成したが、幻覚や高い推論コストといった重要な課題に直面している。
より有能な専門家に不確実な入力を遅延させることで信頼性が向上する一方、より単純なクエリをより小さく蒸留されたモデルにルーティングすることで効率が向上する。
これは、マルチエキスパート・デフェラルで学ぶことの問題を動機付けている。
この論文は、強い一貫性の保証によって支持される、この問題と、それに関連する禁断学習の問題を包括的に研究している。
まず,留意点(特にdeferralの場合)を学習するために,多クラス分類におけるスコアベースおよび予測型リジェクタの定式化を解析する。
我々は,新たな代理損失の族を導入し,非漸近的で仮説固有の一貫性の保証を強く証明し,既存の2つの疑問を解決した。
我々は,CIFAR-10, CIFAR-100, SVHNを用いて, 単段および実用的な2段設定の両方を解析し, アルゴリズムの優れた性能を実証した。
第二に、分類における一般的なマルチエキスパート・デフェラルに対処する。
単段シナリオと二段シナリオの両方に新たなサロゲート損失を設計し、それらが強い$H$一貫性境界の恩恵を受けることを証明する。
2段階のシナリオでは、我々の代理損失は一定コスト関数に対して$H$-consistentで実現可能であることが示され、新しいアルゴリズムが有効になる。
最後に、連続ラベル空間に対処するために、遅延を伴う回帰のための新しいフレームワークを導入する。
当社の汎用フレームワークは、複数の専門家と様々なコスト構造に対応し、単段階と二段階の両方の手法をサポートしています。
棄権を伴う回帰に関する最近の研究を仮定する。
証明された$H$一貫性を持つ新しいサロゲート損失を提案し、結果のアルゴリズムの実証的有効性を示す。
関連論文リスト
- Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。
SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。
近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。
本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
論文 参考訳（メタデータ） (2025-11-07T22:19:34Z) - Mastering Multiple-Expert Routing: Realizable $H$-Consistency and Strong Guarantees for Learning to Defer [30.389055604165222]
本稿では,理論学習の保証が強い新しい代理損失関数と効率的なアルゴリズムを提案する。
実現可能な$H$一貫性、$H$一貫性境界、単段階および二段階の学習シナリオにおけるベイズ一貫性に関するオープンな疑問に対処する。
実効化可能な$H$整合性,$H$整合性境界,および2つの経験的シナリオに対するベイズ整合性,そして自然仮定の下では多重経験的シナリオを実現するための新たな代理的損失を導出する。
論文 参考訳（メタデータ） (2025-06-25T17:48:58Z) - Unlocking the Potential of Difficulty Prior in RL-based Multimodal Reasoning [69.64809103333839]
先行情報に対する問題の難易度を明示的にモデル化し,多モーダル推論における強化学習に基づく微調整の有効性を検証した。
提案手法は,2段階学習データのみを2K+0.6Kとする多モード数学的推論ベンチマークにおいて有意な性能を示す。
論文 参考訳（メタデータ） (2025-05-19T15:43:10Z) - Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。
我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。
MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
論文 参考訳（メタデータ） (2025-03-17T19:04:38Z) - A Two-Stage Learning-to-Defer Approach for Multi-Task Learning [3.4289478404209826]
本稿では,マルチタスク学習のための新しい2段階L2Dフレームワークを提案する。
提案手法は2段階のサロゲート損失ファミリーを利用し,Bayes-consistentと$(mathcalG, MathcalR)$-consistentの両方を証明した。
論文 参考訳（メタデータ） (2024-10-21T07:44:57Z) - Regression with Multi-Expert Deferral [30.389055604165222]
複数の専門家で予測を遅延させる学習は、学習者が複数の専門家に予測を遅延させることを選択できるフレームワークである。
本稿では、複数の専門家に予測を延期することを含む、遅延を伴う新しい回帰の枠組みを提案する。
両シナリオに新たなサロゲート損失関数を導入し,これらが$H$一貫性境界でサポートされていることを証明した。
論文 参考訳（メタデータ） (2024-03-28T15:26:38Z) - A Unifying Perspective on Multi-Calibration: Game Dynamics for
Multi-Objective Learning [63.20009081099896]
マルチキャリブレーション予測器の設計と解析のための統一フレームワークを提供する。
ゲームダイナミクスとの接続を利用して,多様なマルチ校正学習問題に対する最先端の保証を実現する。
論文 参考訳（メタデータ） (2023-02-21T18:24:17Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳（メタデータ） (2021-10-29T13:30:42Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳（メタデータ） (2020-06-18T19:04:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。