論文の概要: Optimized Deferral for Imbalanced Settings

• arxiv url: http://arxiv.org/abs/2604.27723v1
• Date: Thu, 30 Apr 2026 11:15:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.059915
• Title: Optimized Deferral for Imbalanced Settings
• Title（参考訳）: 不均衡設定のための最適化デフェラル
• Authors: Corinna Cortes, Anqi Mao, Mehryar Mohri, Yutao Zhong,
• Abstract要約: 学習アルゴリズムは、複雑な入力や不確実な入力を専門の専門家にルーティングすることで、大幅に改善することができる。 遅延学習として知られるこのアプローチは、自然言語生成、診断、コンピュータビジョンといった領域において不可欠である。 本稿では,専門家の不均衡な環境下での2段階学習の遅延に関する総合的研究について述べる。
• 参考スコア（独自算出の注目度）: 52.48138985215643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning algorithms can be significantly improved by routing complex or uncertain inputs to specialized experts, balancing accuracy with computational cost. This approach, known as learning to defer, is essential in domains like natural language generation, medical diagnosis, and computer vision, where an effective deferral can reduce errors at low extra resource consumption. However, the two-stage learning to defer setting, which leverages existing predictors such as a collection of LLMs or other classifiers, often faces challenges due to an expert imbalance problem. This imbalance can lead to suboptimal performance, with deferral algorithms favoring the majority expert. We present a comprehensive study of two-stage learning to defer in expert imbalance settings. We cast the deferral loss optimization as a novel cost-sensitive learning problem over the input-expert domain. We derive new margin-based loss functions and guarantees tailored to this setting, and develop novel algorithms for cost-sensitive learning. Leveraging these results, we design principled deferral algorithms, MILD (Margin-based Imbalanced Learning to Defer), specifically suited for expert imbalance settings. Extensive experiments demonstrate the effectiveness of our approach, showing clear improvements over existing baselines on both image classification and real-world Large Language Model (LLM) routing tasks.
• Abstract（参考訳）: 学習アルゴリズムは、複雑な入力や不確実な入力を専門の専門家にルーティングすることで、計算コストと精度のバランスをとることで、大幅に改善することができる。 このアプローチは遅延学習(Learning to Defer)として知られており、自然言語生成や診断、コンピュータビジョンといった領域において必須である。 しかし、LLMやその他の分類器のコレクションのような既存の予測器を利用する2段階の学習では、専門家の不均衡の問題のためにしばしば課題に直面している。 この不均衡は最適以下のパフォーマンスをもたらし、遅延アルゴリズムは多数派の専門家に有利である。 本稿では,専門家の不均衡な環境下での2段階学習の遅延に関する総合的研究について述べる。 提案手法は,入力-専門家領域上での新たなコスト依存学習問題として,遅延損失最適化を行った。 我々は、新たなマージンベースの損失関数を導出し、この設定に合わせて保証し、コスト感受性学習のための新しいアルゴリズムを開発する。 これらの結果を活用することで、専門家の不均衡設定に特に適した、原則付きdeferralアルゴリズム、MILD(Margin-based Im Balanced Learning to Defer)を設計した。 画像分類と実世界のLarge Language Model(LLM)ルーティングタスクにおいて,既存のベースラインよりも明らかに改善されていることを示す。

関連論文リスト

• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• Budgeted Multiple-Expert Deferral [38.13580998392063]
  遅延アルゴリズムのトレーニング手順は、通常、トレーニングインスタンス毎にすべての専門家に問い合わせる必要がある。 本稿では,有能な遅延アルゴリズムのトレーニングを目標とし,訓練中の専門的なクエリコストを最小化することを目的とした,予算付きdeferralフレームワークを紹介する。 本稿では,2段階と1段階のマルチエキスパートのdeferral設定に対して,トレーニング例あたりのエキスパートのサブセットのみを選択的にクエリするアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-30T17:08:52Z)
• OptiMind: Teaching LLMs to Think Like Optimization Experts [14.155402554740997]
  我々は最適化の専門知識を体系的に統合し、混合整数線形プログラミングの定式化精度を向上させる。 提案手法はまず,クラスベースのエラー解析によってトレーニングデータをクリーン化する。 次に、クラス固有のエラーサマリとソルバフィードバックでLLMを誘導するマルチターン推論戦略を開発する。
  論文  参考訳（メタデータ） (2025-09-26T22:23:12Z)
• ALScope: A Unified Toolkit for Deep Active Learning [5.2705718569212285]
  Deep Active Learning (DAL)は、トレーニング中に最も有益な未ラベルのサンプルを選択することで、アノテーションのコストを削減する。 コンピュータビジョン(CV)と自然言語処理(NLP)から10のデータセットを統合することで、分類タスクのための新しいDALプラットフォームALScopeを提案する。 このプラットフォームは、アルゴリズムやデータセットの選択から、アウト・オブ・ディストリビューション(OOD)サンプル比のようなタスク固有の要因まで、主要な実験要素の柔軟な設定をサポートする。
  論文  参考訳（メタデータ） (2025-08-06T23:39:46Z)
• Addressing Imbalanced Domain-Incremental Learning through Dual-Balance Collaborative Experts [59.615381619866284]
  ドメイン・インクリメンタル・ラーニング(Domain-Incremental Learning, DIL)は、非定常環境における連続的な学習に焦点を当てる。 DILは、ドメイン内のクラス不均衡とドメイン間のクラス分散シフトという、2つの重要な課題に直面している。 これらの課題を克服するために、Dual-Balance Collaborative Experts (DCE)フレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-07-09T17:57:07Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• Learning Algorithms for Intelligent Agents and Mechanisms [4.251500966181852]
  本稿では,2つの異なる文脈における最適意思決定のための学習アルゴリズム,パート1における強化学習,パート2におけるオークションデザインについて検討する。 第2章では統計物理学に触発された強化学習(Reinforcement Learning, RL)の新たなアプローチを開発し, 最適化された望ましい特性を持つ最適ポリシを学習するだけでなく, 最大エントロピーRLに新たな光を照射する。 第3章では、ベイズ的視点を用いてRLの一般化問題に取り組み、環境の不完全な知識が完全に観測されたマルコフ決定過程(MDP)を部分的に観測されたMDP(POMD)に変換することを効果的に示している。
  論文  参考訳（メタデータ） (2022-10-06T03:12:43Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。