論文の概要: Double-Stage Feature-Level Clustering-Based Mixture of Experts Framework

• arxiv url: http://arxiv.org/abs/2503.09504v1
• Date: Wed, 12 Mar 2025 16:13:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:40:43.499890
• Title: Double-Stage Feature-Level Clustering-Based Mixture of Experts Framework
• Title（参考訳）: ダブルステージ特徴レベルクラスタリングに基づくエキスパートフレームワークの混合
• Authors: Bakary Badjie, José Cecílio, António Casimiro,
• Abstract要約: 本稿では,DFCP-MoE(Mixture of Experts)フレームワークについて述べる。 入力特徴抽出、特徴レベルのクラスタリング、計算効率の良い擬似ラベル戦略で構成されている。 そこで本研究では,MoEモデルを用いたクラスタリング入力の訓練により,専門家の専門性を向上する条件付きエンドツーエンド共同訓練手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The Mixture-of-Experts (MoE) model has succeeded in deep learning (DL). However, its complex architecture and advantages over dense models in image classification remain unclear. In previous studies, MoE performance has often been affected by noise and outliers in the input space. Some approaches incorporate input clustering for training MoE models, but most clustering algorithms lack access to labeled data, limiting their effectiveness. This paper introduces the Double-stage Feature-level Clustering and Pseudo-labeling-based Mixture of Experts (DFCP-MoE) framework, which consists of input feature extraction, feature-level clustering, and a computationally efficient pseudo-labeling strategy. This approach reduces the impact of noise and outliers while leveraging a small subset of labeled data to label a large portion of unlabeled inputs. We propose a conditional end-to-end joint training method that improves expert specialization by training the MoE model on well-labeled, clustered inputs. Unlike traditional MoE and dense models, the DFCP-MoE framework effectively captures input space diversity, leading to competitive inference results. We validate our approach on three benchmark datasets for multi-class classification tasks.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、ディープラーニング(DL)に成功している。 しかし、画像分類における高密度モデルよりも複雑なアーキテクチャとアドバンテージはいまだに不明である。 これまでの研究では、MoEの性能は入力空間のノイズや外れ値の影響を受けてきた。 入力クラスタリングをMoEモデルのトレーニングに取り入れるアプローチもあるが、ほとんどのクラスタリングアルゴリズムはラベル付きデータへのアクセスを欠いているため、その有効性は制限されている。 本稿では、入力特徴抽出、特徴レベルのクラスタリング、計算効率の良い擬似ラベル戦略からなるDFCP-MoEフレームワークについて述べる。 このアプローチは、ラベル付きデータの小さなサブセットを活用して、ラベル付けされていない入力の大部分をラベル付けしながら、ノイズやアウトリーチの影響を低減する。 そこで本研究では,MoEモデルを用いたクラスタリング入力の訓練により,専門家の専門性を向上する条件付きエンドツーエンド共同訓練手法を提案する。 従来のMoEや高密度モデルとは異なり、DFCP-MoEフレームワークは入力空間の多様性を効果的に捉え、競合する推論結果をもたらす。 マルチクラス分類タスクのための3つのベンチマークデータセットに対するアプローチを検証する。

関連論文リスト

• Collaborative Feature-Logits Contrastive Learning for Open-Set Semi-Supervised Object Detection [75.02249869573994]
  オープンセットのシナリオでは、ラベルなしデータセットには、イン・ディストリビューション(ID)クラスとアウト・オブ・ディストリビューション(OOD)クラスの両方が含まれている。 このような設定で半教師付き検出器を適用すると、OODクラスをIDクラスとして誤分類する可能性がある。 我々は、CFL-Detector(Collaborative Feature-Logits Detector)と呼ばれるシンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-11-20T02:57:35Z)
• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Generalized Category Discovery with Clustering Assignment Consistency [56.92546133591019]
  一般化圏発見(GCD)は、最近提案されたオープンワールドタスクである。 クラスタリングの一貫性を促進するための協調学習ベースのフレームワークを提案する。 提案手法は,3つの総合的なベンチマークと3つのきめ細かい視覚認識データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-30T00:32:47Z)
• Evaluation of Confidence-based Ensembling in Deep Learning Image Classification [0.6445605125467573]
  Conf-EnsembleはBoostingに適応して、モデルエラーではなくモデルの信頼性に基づいたアンサンブルを生成する。 我々は、イメージNetデータセットを用いて、画像分類のより複雑なタスクにおいて、Conf-Ensembleアプローチを評価する。
  論文  参考訳（メタデータ） (2023-03-03T16:29:22Z)
• Unified Multi-View Orthonormal Non-Negative Graph Based Clustering Framework [74.25493157757943]
  我々は,非負の特徴特性を活用し,多視点情報を統合された共同学習フレームワークに組み込む,新しいクラスタリングモデルを定式化する。 また、深層機能に基づいたクラスタリングデータに対するマルチモデル非負グラフベースのアプローチを初めて検討する。
  論文  参考訳（メタデータ） (2022-11-03T08:18:27Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• Deep Conditional Gaussian Mixture Model for Constrained Clustering [7.070883800886882]
  制約付きクラスタリングは、部分的にラベル付けされたデータの増加量に関する事前情報を利用することができる。 本稿では、直感的で解釈可能で、勾配変動推論の枠組みで効率的に訓練できる制約付きクラスタリングのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T13:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。