論文の概要: No Need for "Learning" to Defer? A Training Free Deferral Framework to Multiple Experts through Conformal Prediction
- arxiv url: http://arxiv.org/abs/2509.12573v1
- Date: Tue, 16 Sep 2025 02:01:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-17 17:50:52.835293
- Title: No Need for "Learning" to Defer? A Training Free Deferral Framework to Multiple Experts through Conformal Prediction
- Title(参考訳): ディフェンダーの「学習」は不要か? コンフォーマル予測による複数専門家への学習自由宣言フレームワーク
- Authors: Tim Bary, Benoît Macq, Louis Petit,
- Abstract要約: 本稿では,共形予測に基づくエキスパート推論のための訓練不要,モデル非依存,エキスパート非依存のフレームワークを提案する。
我々の手法は、スタンドアローンモデルと最強の専門家の両方より一貫して優れています。
- 参考スコア(独自算出の注目度): 3.746889836344766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI systems often fail to deliver reliable predictions across all inputs, prompting the need for hybrid human-AI decision-making. Existing Learning to Defer (L2D) approaches address this by training deferral models, but these are sensitive to changes in expert composition and require significant retraining if experts change. We propose a training-free, model- and expert-agnostic framework for expert deferral based on conformal prediction. Our method uses the prediction set generated by a conformal predictor to identify label-specific uncertainty and selects the most discriminative expert using a segregativity criterion, measuring how well an expert distinguishes between the remaining plausible labels. Experiments on CIFAR10-H and ImageNet16-H show that our method consistently outperforms both the standalone model and the strongest expert, with accuracies attaining $99.57\pm0.10\%$ and $99.40\pm0.52\%$, while reducing expert workload by up to a factor of $11$. The method remains robust under degraded expert performance and shows a gradual performance drop in low-information settings. These results suggest a scalable, retraining-free alternative to L2D for real-world human-AI collaboration.
- Abstract(参考訳): AIシステムは、すべての入力に対して信頼性の高い予測を提供しないことが多いため、ハイブリッドな人間とAIの意思決定の必要性が生じる。
既存のLearning to Defer(L2D)アプローチは、deferralモデルをトレーニングすることでこの問題に対処するが、これらは専門家の構成の変化に敏感であり、もし専門家が変化すれば、かなりのリトレーニングが必要になる。
本稿では,共形予測に基づくエキスパート推論のための訓練不要,モデル非依存,エキスパート非依存のフレームワークを提案する。
本手法では,共形予測器が生成した予測値を用いてラベル固有の不確かさを識別し,セグレガティビティ基準を用いて最も識別性の高い専門家を選択する。
CIFAR10-HとImageNet16-Hの実験では、我々の手法はスタンドアローンモデルと最強の専門家の両方を一貫して上回り、アキュラシーは99.57\pm0.10\%$と99.40\pm0.52\%$に達し、専門家のワークロードを最大11ドルまで削減している。
この手法は、専門家の劣化したパフォーマンスの下でも頑健であり、低情報設定で徐々にパフォーマンスが低下することを示している。
これらの結果は、L2Dのスケーラブルでリトレーニング不要な代替手段として、現実世界の人間とAIのコラボレーションが提案されている。
関連論文リスト
- Extracting Uncertainty Estimates from Mixtures of Experts for Semantic Segmentation [9.817102014355617]
アーキテクチャ変更を伴わない専門家(MoE)の混合から、よく校正された予測不確実性推定が抽出可能であることを示す。
以上の結果から,MoEsは条件付き正当性測定値において,アンサンブルよりも信頼性の高い不確実性推定値が得られることがわかった。
Cityscapesデータセットの実験では、専門家の数が増加することで不確実性の校正がさらに高められることが示唆された。
論文 参考訳(メタデータ) (2025-09-05T05:30:53Z) - Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。
提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
論文 参考訳(メタデータ) (2024-09-23T21:27:26Z) - Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳(メタデータ) (2024-02-13T11:25:20Z) - Uncertainty-Driven Action Quality Assessment [11.958132175629368]
本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。
我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。
提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
論文 参考訳(メタデータ) (2022-07-29T07:21:15Z) - Trustworthy Long-Tailed Classification [41.45744960383575]
本稿では,分類と不確実性評価を共同で行うために,Trustworthy Long-tailed Classification (TLC)法を提案する。
我々のTLCは、各専門家のエビデンスに基づく不確実性(EvU)とエビデンスを取得し、デプスター・シェーファー・エビデンス理論(DST)の下でこれらの不確実性とエビデンスを組み合わせる。
実験の結果,提案したTLCは最先端の手法よりも優れており,信頼性の高い不確実性に優れていた。
論文 参考訳(メタデータ) (2021-11-17T10:52:36Z) - Test-Agnostic Long-Tailed Recognition by Test-Time Aggregating Diverse
Experts with Self-Supervision [85.07855130048951]
本研究では,テスト非依存型ロングテール認識(test-agnostic long-tailed recognition)と呼ばれる,より実践的なタスク設定について検討する。
本稿では,多種多様な専門家に異なるテスト分布を扱うように訓練するTADE(Test-time Aggregating Diverse Experts)と呼ばれる新しい手法を提案する。
理論的には,提案手法は未知のテストクラス分布をシミュレートできることを示す。
論文 参考訳(メタデータ) (2021-07-20T04:10:31Z) - Gaussian Experts Selection using Graphical Models [7.530615321587948]
ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。
我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
論文 参考訳(メタデータ) (2021-02-02T14:12:11Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。