論文の概要: A Square Peg in a Square Hole: Meta-Expert for Long-Tailed Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2505.16341v1
• Date: Thu, 22 May 2025 07:56:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.132071
• Title: A Square Peg in a Square Hole: Meta-Expert for Long-Tailed Semi-Supervised Learning
• Title（参考訳）: 正方形ホールにおける正方形ペグ:長尺半教師付き学習のためのメタエキスパート
• Authors: Yaxin Hou, Yuheng Jia,
• Abstract要約: 本研究では,Long-tailed semi-supervised learning (LTSSL) を分布ミスマッチを用いて検討し,そこでラベル付き学習データのクラス分布がLong-tailed Distributionに従っていることを示す。 サンプルのクラスメンバシップを推定できる動的専門家割当てモジュールを提案する。 異なる専門家の強みを統合することで、より小さな一般化誤差が生じることを示す。
• 参考スコア（独自算出の注目度）: 18.911712371699263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the long-tailed semi-supervised learning (LTSSL) with distribution mismatch, where the class distribution of the labeled training data follows a long-tailed distribution and mismatches with that of the unlabeled training data. Most existing methods introduce auxiliary classifiers (experts) to model various unlabeled data distributions and produce pseudo-labels, but the expertises of various experts are not fully utilized. We observe that different experts are good at predicting different intervals of samples, e.g., long-tailed expert is skilled in samples located in the head interval and uniform expert excels in samples located in the medium interval. Therefore, we propose a dynamic expert assignment module that can estimate the class membership (i.e., head, medium, or tail class) of samples, and dynamically assigns suitable expert to each sample based on the estimated membership to produce high-quality pseudo-label in the training phase and produce prediction in the testing phase. We also theoretically reveal that integrating different experts' strengths will lead to a smaller generalization error bound. Moreover, we find that the deeper features are more biased toward the head class but with more discriminative ability, while the shallower features are less biased but also with less discriminative ability. We, therefore, propose a multi-depth feature fusion module to utilize different depth features to mitigate the model bias. Our method demonstrates its effectiveness through comprehensive experiments on the CIFAR-10-LT, STL-10-LT, and SVHN-LT datasets across various settings. The code is available at https://github.com/yaxinhou/Meta-Expert.
• Abstract（参考訳）: 本稿では,Long-tailed semi-supervised learning (LTSSL) と,ラベル付きトレーニングデータのクラス分布を,ラベル付きトレーニングデータのクラス分布に追従し,ラベル付きトレーニングデータのクラス分布とミスマッチする分布ミスマッチについて検討する。 既存の手法の多くは、様々なラベルのないデータ分布をモデル化し擬似ラベルを生成するための補助的分類器(専門家)を導入しているが、様々な専門家の専門知識は十分に活用されていない。 異なる専門家が異なる間隔のサンプルを予測するのに優れており、例えば、長い尾を持つ専門家は頭間隔にあるサンプルに熟練しており、中間隔にあるサンプルに一様の専門家が卓越している。 そこで本研究では,サンプルのクラスメンバシップ(ヘッド,ミディアム,テールクラス)を推定し,推定メンバシップに基づいて各サンプルに適切な専門家を動的に割り当て,トレーニングフェーズで高品質な擬似ラベルを生成し,テストフェーズで予測する動的専門家割り当てモジュールを提案する。 また、異なる専門家の強みを統合することで、より小さな一般化誤差が生じることも理論的に明らかにした。 さらに、より深い特徴はよりヘッドクラスに偏りがあるが、より識別能力があるのに対し、浅い特徴はより偏りがなく、識別能力も低いことが判明した。 そこで我々は,モデルバイアスを軽減するために,異なる深度特徴を利用する多層機能融合モジュールを提案する。 提案手法は, CIFAR-10-LT, STL-10-LT, SVHN-LTデータセットの総合的な実験により, 各種設定における有効性を示す。 コードはhttps://github.com/yaxinhou/Meta-Expert.comで入手できる。

関連論文リスト

• Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning [74.44500692632778]
  本稿では,様々なクラス分布をモデル化するComPlementary Experts (CPE) を提案する。 CPEは、CIFAR-10-LT、CIFAR-100-LT、STL-10-LTのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-25T11:54:07Z)
• Long-Tailed Visual Recognition via Self-Heterogeneous Integration with Knowledge Excavation [53.94265240561697]
  知識抽出による自己異種統合(SHIKE)と呼ばれるMoEに基づく新しい手法を提案する。 SHIKEはCIFAR100-LT (IF100), ImageNet-LT, iNaturalist 2018, Places-LTで56.3%, 60.3%, 75.4%, 41.9%の最先端性能を達成した。
  論文  参考訳（メタデータ） (2023-04-03T18:13:39Z)
• Balanced Product of Calibrated Experts for Long-Tailed Recognition [13.194151879344487]
  多くの実世界の認識問題は長いラベルの分布によって特徴づけられる。 本研究では分析的アプローチを採り、ロジット調整の概念をアンサンブルに拡張し、専門家のバランス製品(BalPoE)を形成する。 我々はこれらの分布を適切に定義し、偏りのない予測を達成するために専門家を組み合わせる方法を示す。
  論文  参考訳（メタデータ） (2022-06-10T17:59:02Z)
• Test-Agnostic Long-Tailed Recognition by Test-Time Aggregating Diverse Experts with Self-Supervision [85.07855130048951]
  本研究では,テスト非依存型ロングテール認識(test-agnostic long-tailed recognition)と呼ばれる,より実践的なタスク設定について検討する。 本稿では,多種多様な専門家に異なるテスト分布を扱うように訓練するTADE(Test-time Aggregating Diverse Experts)と呼ばれる新しい手法を提案する。 理論的には,提案手法は未知のテストクラス分布をシミュレートできることを示す。
  論文  参考訳（メタデータ） (2021-07-20T04:10:31Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。