論文の概要: MoCaE: Mixture of Calibrated Experts Significantly Improves Object
Detection
- arxiv url: http://arxiv.org/abs/2309.14976v4
- Date: Thu, 1 Feb 2024 12:51:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-02-02 19:15:37.148403
- Title: MoCaE: Mixture of Calibrated Experts Significantly Improves Object
Detection
- Title（参考訳）: MoCaE: 校正専門家の混在がオブジェクト検出を大幅に改善
- Authors: Kemal Oksuz and Selim Kuzucu and Tom Joy and Puneet K. Dokania
- Abstract要約: 我々は、Deep Ensemblesと同様の方法で、専門的なオブジェクト検出器を"自然に組み合わせることによって、しばしば性能が劣化することを発見した。
この問題の主な原因は,専門家の予測が性能に合わないことである。
これを解決するため,エキスパートの混合を構築する際に,専門家の個人的パフォーマンスを反映した方法で,これらの予測を組み合わせることを提案する。
- 参考スコア（独自算出の注目度）: 18.059899772411033
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Combining the strengths of many existing predictors to obtain a Mixture of
Experts which is superior to its individual components is an effective way to
improve the performance without having to develop new architectures or train a
model from scratch. However, surprisingly, we find that na\"ively combining
expert object detectors in a similar way to Deep Ensembles, can often lead to
degraded performance. We identify that the primary cause of this issue is that
the predictions of the experts do not match their performance, a term referred
to as miscalibration. Consequently, the most confident detector dominates the
final predictions, preventing the mixture from leveraging all the predictions
from the experts appropriately. To address this, when constructing the Mixture
of Experts, we propose to combine their predictions in a manner which reflects
the individual performance of the experts; an objective we achieve by first
calibrating the predictions before filtering and refining them. We term this
approach the Mixture of Calibrated Experts and demonstrate its effectiveness
through extensive experiments on 5 different detection tasks using a variety of
detectors, showing that it: (i) improves object detectors on COCO and instance
segmentation methods on LVIS by up to $\sim 2.5$ AP; (ii) reaches
state-of-the-art on COCO test-dev with $65.1$ AP and on DOTA with $82.62$
$\mathrm{AP_{50}}$; (iii) outperforms single models consistently on recent
detection tasks such as Open Vocabulary Object Detection.
- Abstract（参考訳）: 個々のコンポーネントよりも優れたMixture of Expertsを得るための、多くの既存の予測者の強みを組み合わせることは、新しいアーキテクチャを開発したり、スクラッチからモデルを訓練したりすることなく、パフォーマンスを改善する効果的な方法である。
しかし、驚くべきことに、Deep Ensemblesと同様の方法で専門の物体検出器を「高度に組み合わせる」ことで、しばしば性能が劣化する可能性がある。
この問題の主な原因は、専門家の予測が彼らの業績に合っていないこと、すなわち誤解(miscalibration)である。
その結果、最も確実な検出器が最終予測を支配し、混合物が専門家の全ての予測を適切に活用することを防ぐ。
そこで本稿では,エキスパートの混合構築において,専門家の個々のパフォーマンスを反映した予測を組み合わせることを提案する。
このアプローチを校正専門家の混合と呼び、様々な検出器を用いて5つの異なる検出タスクを広範囲に実験し、その効果を実証する。
i) 最大$\sim 2.5$ APによるCOCOのオブジェクト検出器およびLVISのインスタンスセグメンテーション法の改善
(ii) COCO test-dev で 65.1$ AP で DOTA で 82.62$$\mathrm{AP_{50}}$;
(iii)Open Vocabulary Object Detectionのような最近の検出タスクにおいて、単一モデルを一貫して上回る。
関連論文リスト
- Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity [49.809923981964715]
凍結したエキスパートとして機能する事前訓練されたモデルを、新しいタスクを学ぶためにトレーニング可能なエキスパートとして機能するアダプタモデルに統合するトランスファー学習手法によって、汚染された専門家の混合(MoE)が動機付けられる。
本研究は, 地絡パラメータがサンプルサイズによって異なる困難な条件下で, パラメータを推定するための一様収束率を特徴付ける。
また、対応するミニマックス下限を定め、これらのレートがミニマックス最適であることを保証する。
論文 参考訳（メタデータ） (2026-01-31T23:45:50Z) - Leveraging Multi-Rater Annotations to Calibrate Object Detectors in Microscopy Imaging [0.29656637520758655]
マルチレータアノテーションを利用したモデルキャリブレーションの改良手法を提案する。
そこで本研究では,アノテーションに関する個々のモデルを単一専門家から訓練し,それらの予測を集約してコンセンサスをエミュレートする手法を提案する。
論文 参考訳（メタデータ） (2026-01-30T14:17:29Z) - Let the Experts Speak: Improving Survival Prediction & Calibration via Mixture-of-Experts Heads [2.962208518434558]
我々は、生存分析問題に対していくつかの離散時間深層混合(MoE)アーキテクチャを導入する。
そのうちの1つは、クラスタリング、キャリブレーション、予測精度のすべてを達成する。
より表現力のある専門家は、患者ごとの予測を調整し、固定されたグループのプロトタイプに依存する専門家より優れています。
論文 参考訳（メタデータ） (2025-11-11T03:37:55Z) - Extracting Uncertainty Estimates from Mixtures of Experts for Semantic Segmentation [9.817102014355617]
アーキテクチャ変更を伴わない専門家(MoE)の混合から、よく校正された予測不確実性推定が抽出可能であることを示す。
以上の結果から,MoEsは条件付き正当性測定値において,アンサンブルよりも信頼性の高い不確実性推定値が得られることがわかった。
Cityscapesデータセットの実験では、専門家の数が増加することで不確実性の校正がさらに高められることが示唆された。
論文 参考訳（メタデータ） (2025-09-05T05:30:53Z) - Enhancing CTR Prediction with De-correlated Expert Networks [53.05653547330796]
本稿では,専門的相関を最小化するクロスエキスパートデコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・
D-MoEの有効性とデコリレーション原理を検証するために大規模な実験が行われた。
論文 参考訳（メタデータ） (2025-05-23T14:04:38Z) - Unveiling Hidden Collaboration within Mixture-of-Experts in Large Language Models [5.211806751260724]
本稿では,専門家間の協調パターンを明らかにする階層型スパース辞書学習法を提案する。
また、コントリビューション・アウェア・エキスパート・プルーニング(CAEP)アルゴリズムを導入し、低コントリビューション・エキスパートを効果的に育成する。
論文 参考訳（メタデータ） (2025-04-16T04:06:15Z) - Epistemic Uncertainty-aware Recommendation Systems via Bayesian Deep Ensemble Learning [2.3310092106321365]
より堅牢で信頼性の高い予測を生成するために,アンサンブルに基づくスーパーモデルを提案する。
また,ユーザとアイテムの埋め込みに対して,解釈可能な非線形マッチング手法を導入する。
論文 参考訳（メタデータ） (2025-04-14T23:04:35Z) - Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
大規模MOEモデルにおける領域の特殊化と専門的冗長性について検討する。
本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。
提案手法は,DeepSeek-R1を完全かつ半分のエキスパートで,同じメモリ予算で同等の性能と2.99タイムのスループットを達成できる。
論文 参考訳（メタデータ） (2025-04-09T11:34:06Z) - Finding Fantastic Experts in MoEs: A Unified Study for Expert Dropping Strategies and Observations [86.90549830760513]
わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。
多様な視点から専門家の重要度を推定するためのベンチマークとして,MoE Experts Compression Suite (MC-Suite)を提案する。
我々は,SMoEsの指示追従能力が主に損なわれるという,実験的に検証された予想を提示する。
論文 参考訳（メタデータ） (2025-04-08T00:49:08Z) - Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。
MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。
標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
論文 参考訳（メタデータ） (2025-03-05T06:11:24Z) - Leveraging Mixture of Experts for Improved Speech Deepfake Detection [53.69740463004446]
スピーチのディープフェイクは、個人のセキュリティとコンテンツの信頼性に重大な脅威をもたらす。
本研究では,Mixture of Expertsアーキテクチャを用いた音声深度検出性能の向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-09-24T13:24:03Z) - UAHOI: Uncertainty-aware Robust Interaction Learning for HOI Detection [18.25576487115016]
本稿では,Human-Object Interaction(HOI)検出について述べる。
与えられた画像やビデオフレーム内の人間とオブジェクト間の相互作用を識別し、理解するという課題に対処する。
本研究では,不確実性を考慮したロバストなヒューマンオブジェクトインタラクション学習であるtextscUAHOIを提案する。
論文 参考訳（メタデータ） (2024-08-14T10:06:39Z) - Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
Mixture-of-Experts (MoE)計算アマルガメート予測
Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
論文 参考訳（メタデータ） (2024-03-26T05:48:02Z) - Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。
大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。
視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
論文 参考訳（メタデータ） (2024-02-19T21:20:22Z) - Inverse Reinforcement Learning with Sub-optimal Experts [56.553106680769474]
与えられた専門家の集合と互換性のある報酬関数のクラスの理論的性質について検討する。
以上の結果から,複数の準最適専門家の存在が,相反する報酬の集合を著しく減少させる可能性が示唆された。
我々は,最適なエージェントの1つに十分近い準最適専門家のパフォーマンスレベルが最適である場合に,最小限の最適化を行う一様サンプリングアルゴリズムを解析する。
論文 参考訳（メタデータ） (2024-01-08T12:39:25Z) - Incorporating Experts' Judgment into Machine Learning Models [2.5363839239628843]
場合によっては、ドメインの専門家は、機械学習モデルの予測と矛盾する可能性のある期待された結果について判断するかもしれません。
紛争を緩和するために専門家の判断を活用する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-04-24T07:32:49Z) - A Review of Uncertainty Calibration in Pretrained Object Detectors [5.440028715314566]
多クラス設定における事前訓練対象検出アーキテクチャの不確実性校正特性について検討する。
公平でバイアスのない,繰り返し可能な評価を実現するためのフレームワークを提案する。
検出器のキャリブレーションが低い理由について、新しい知見を提供する。
論文 参考訳（メタデータ） (2022-10-06T14:06:36Z) - ERA: Expert Retrieval and Assembly for Early Action Prediction [13.721609856985376]
初期のアクション予測は、アクションが完全に実行される前に、アクションのクラスラベルをうまく予測することを目的としている。
異なるアクションの初期段階は、非常によく似ているため、これは難しいタスクです。
本稿では, 微妙な相違点を利用した専門家の集合を検索し, 組み立てる, ERA(Expert Retrieval and Assembly)モジュールを提案する。
論文 参考訳（メタデータ） (2022-07-20T06:09:26Z) - Trustworthy Long-Tailed Classification [41.45744960383575]
本稿では,分類と不確実性評価を共同で行うために,Trustworthy Long-tailed Classification (TLC)法を提案する。
我々のTLCは、各専門家のエビデンスに基づく不確実性(EvU)とエビデンスを取得し、デプスター・シェーファー・エビデンス理論(DST)の下でこれらの不確実性とエビデンスを組み合わせる。
実験の結果,提案したTLCは最先端の手法よりも優れており,信頼性の高い不確実性に優れていた。
論文 参考訳（メタデータ） (2021-11-17T10:52:36Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - Probabilistic Ranking-Aware Ensembles for Enhanced Object Detections [50.096540945099704]
本稿では,検知器から箱を囲むことの信頼性を向上するPRAE(Probabilistic Ranking Aware Ensemble)という新しいアンサンブルを提案する。
また,異なる数の箱を扱う必要性によって生じる信頼の不均衡問題に対処するためのbanditアプローチも導入する。
論文 参考訳（メタデータ） (2021-05-07T09:37:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。