論文の概要: EMOE: A Framework for Out-of-distribution Uncertainty Based Rejection via Model-Agnostic Expansive Matching of Experts
- arxiv url: http://arxiv.org/abs/2406.01825v3
- Date: Tue, 16 Sep 2025 01:02:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-17 17:50:52.528374
- Title: EMOE: A Framework for Out-of-distribution Uncertainty Based Rejection via Model-Agnostic Expansive Matching of Experts
- Title(参考訳): EMOE: エキスパートのモデル非依存的拡張マッチングによる不確実性に基づく拒絶のためのフレームワーク
- Authors: Yunni Qu, James Wellnitz, Dzung Dinh, Bhargav Vaduri, Alexander Tropsha, Junier Oliva,
- Abstract要約: Expansive Matching of Experts (EMOE) は、サポート拡張、補外的な擬似ラベルを利用して、アウト・オブ・ディストリビューションポイントによる予測と不確実性に基づく拒絶を改善する新しいフレームワークである。
EMOEは、単一ソースドメイン非依存設定における多様なデータセットの最先端手法と比較して優れた性能を達成できることを実証する。
- 参考スコア(独自算出の注目度): 41.07702763568527
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Expansive Matching of Experts (EMOE) is a novel framework that utilizes support-expanding, extrapolatory pseudo-labeling to improve prediction and uncertainty based rejection on out-of-distribution(OOD) points. EMOE utilizes a diverse set of multiple base experts as pseudo-labelers on the augmented data to improve OOD performance through multiple MLP heads (one per expert) with shared embedding train with a novel per-head matching loss. Unlike prior methods that rely on modality-specific augmentations or assume access to OOD data, EMOE introduces extrapolatory pseudo-labeling on latent-space augmentations, enabling robust OOD generalization with any real-valued vector data. In contrast to prior modality agnostic methods with neural backbones, EMOE is model-agnostic, working effectively with methods from simple tree-based models to complex OOD generalization models. We demonstrate that EMOE achieves superior performance compared to state-of-the-art method on diverse datasets in single-source domain generalization setting.
- Abstract(参考訳): Expansive Matching of Experts(EMOE)は、サポート拡張、補外的な擬似ラベルを利用して、アウト・オブ・ディストリビューション(OOD)ポイントによる予測と不確実性に基づく拒絶を改善する新しいフレームワークである。
EMOEは、複数のベースエキスパートの多種多様なセットを、拡張データ上の擬似ラベルとして使用し、複数のMDPヘッド(専門家1人)によるOODパフォーマンスを改善する。
モダリティ固有の拡張やOODデータへのアクセスを前提とする従来の方法とは異なり、EMOEは潜時空間拡張の補間的擬似ラベルを導入し、実数値ベクトルデータで堅牢なOOD一般化を可能にする。
ニューラルバックボーンを用いた以前のモダリティ非依存法とは対照的に、EMOEはモデル非依存であり、単純なツリーベースモデルから複雑なOOD一般化モデルへの手法を効果的に扱う。
EMOEは、単一ソース領域の一般化設定において、多種多様なデータセットの最先端手法と比較して優れた性能を達成できることを実証する。
関連論文リスト
- Feature Bank Enhancement for Distance-based Out-of-Distribution Detection [14.383098320129225]
ディープラーニングアプリケーションの信頼性を確保するためには,アウト・オブ・ディストリビューション検出が重要である。
ディープラーニングはデータ機能のバイアスのある分布につながることが多く、極端な機能は避けられない。
本稿では,データセットから統計特性を用いて極端な特徴を識別・制約する簡易かつ効果的な特徴バンク拡張法(FBE)を提案する。
論文 参考訳(メタデータ) (2025-07-11T13:32:26Z) - Enhancing CTR Prediction with De-correlated Expert Networks [53.05653547330796]
本稿では,専門的相関を最小化するクロスエキスパートデコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・
D-MoEの有効性とデコリレーション原理を検証するために大規模な実験が行われた。
論文 参考訳(メタデータ) (2025-05-23T14:04:38Z) - Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
大規模MOEモデルにおける領域の特殊化と専門的冗長性について検討する。
本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。
提案手法は,DeepSeek-R1を完全かつ半分のエキスパートで,同じメモリ予算で同等の性能と2.99タイムのスループットを達成できる。
論文 参考訳(メタデータ) (2025-04-09T11:34:06Z) - Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。
そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
論文 参考訳(メタデータ) (2024-10-10T16:01:51Z) - Margin-bounded Confidence Scores for Out-of-Distribution Detection [2.373572816573706]
本稿では,非自明なOOD検出問題に対処するため,Margin bounded Confidence Scores (MaCS) と呼ばれる新しい手法を提案する。
MaCS は ID と OOD のスコアの差を拡大し、決定境界をよりコンパクトにする。
画像分類タスクのための様々なベンチマークデータセットの実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2024-09-22T05:40:25Z) - Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。
分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。
BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2024-09-21T18:39:53Z) - Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。
提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。
評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-07-12T17:25:02Z) - Improving Out-of-Distribution Detection by Combining Existing Post-hoc Methods [1.747623282473278]
ポストホックディープ・オブ・ディストリビューション(OOD)検出は急速に拡大した。
現在のベストプラクティスは、手元にあるデータセット上のすべてのメソッドをテストすることです。
本稿では,OOD検出を効果的に組み合わせるための新しい手法の開発に焦点を移す。
論文 参考訳(メタデータ) (2024-07-09T15:46:39Z) - Diversified Outlier Exposure for Out-of-Distribution Detection via
Informative Extrapolation [110.34982764201689]
Out-of-Distribution(OOD)検出は、現実のアプリケーションに信頼性の高い機械学習モデルをデプロイするために重要である。
近年, 外部曝露によるOOD検出に有意な結果が得られた。
本稿では,補助外乱量に基づく情報外挿による効果的なOOD検出のための新しい枠組み,すなわちDivOE(Diversified Outlier Exposure)を提案する。
論文 参考訳(メタデータ) (2023-10-21T07:16:09Z) - Mimicking Better by Matching the Approximate Action Distribution [48.95048003354255]
そこで我々は,Imitation Learning from Observationsのための新しい,サンプル効率の高いオンライン政治アルゴリズムMAADを紹介する。
我々は、専門家のパフォーマンスを達成するためには、かなり少ないインタラクションが必要であり、現在最先端の政治手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T12:43:47Z) - Can multi-label classification networks know what they don't know? [20.827128594812578]
アウト・オブ・ディストリビューション(OOD)の不確実性(out-of-distriion)を推定することは、機械学習モデルをオープンな環境に安全にデプロイする上で、重要な課題である。
複数ラベルからのエネルギースコアを集約することにより,OODインジケータのスコアを簡易かつ効果的に推定するJointEnergyを提案する。
提案手法はMS-COCO, PASCAL-VOC, NUS-WIDEを含む3つの共通マルチラベル分類ベンチマークにおいて有効であることを示す。
論文 参考訳(メタデータ) (2021-09-29T03:03:52Z) - Understanding the Effects of Adversarial Personalized Ranking
Optimization Method on Recommendation Quality [6.197934754799158]
ベイズパーソナライズランキング(BPR)とAPR最適化フレームワークの学習特性をモデル化する。
APRがBPRよりも人気バイアスを増大させるのは、ショートヘッドアイテムからの肯定的な更新が不均衡に多いためである。
論文 参考訳(メタデータ) (2021-07-29T10:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。