論文の概要: Balanced Product of Experts for Long-Tailed Recognition

• arxiv url: http://arxiv.org/abs/2206.05260v1
• Date: Fri, 10 Jun 2022 17:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 15:25:37.794269
• Title: Balanced Product of Experts for Long-Tailed Recognition
• Title（参考訳）: 長期認識のためのエキスパートのバランスの取れた製品
• Authors: Emanuel Sanchez Aimar, Arvi Jonnarth, Michael Felsberg, Marco Kuhlmann
• Abstract要約: 多くの現実世界の認識問題は、不均衡または長い尾のラベルの分布に悩まされている。 本稿では、データの不均衡に取り組むために、BalPoE(Balibed Product of Experts)を用いていくつかのアプローチを一般化する。 BalPoEはバランスの取れたエラーを最小限に抑え、我々のアプローチの有効性を検証するための広範な実験を行うために一貫したものであることを示す。
• 参考スコア（独自算出の注目度）: 13.194151879344487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world recognition problems suffer from an imbalanced or long-tailed label distribution. Those distributions make representation learning more challenging due to limited generalization over the tail classes. If the test distribution differs from the training distribution, e.g. uniform versus long-tailed, the problem of the distribution shift needs to be addressed. To this aim, recent works have extended softmax cross-entropy using margin modifications, inspired by Bayes' theorem. In this paper, we generalize several approaches with a Balanced Product of Experts (BalPoE), which combines a family of models with different test-time target distributions to tackle the imbalance in the data. The proposed experts are trained in a single stage, either jointly or independently, and fused seamlessly into a BalPoE. We show that BalPoE is Fisher consistent for minimizing the balanced error and perform extensive experiments to validate the effectiveness of our approach. Finally, we investigate the effect of Mixup in this setting, discovering that regularization is a key ingredient for learning calibrated experts. Our experiments show that a regularized BalPoE can perform remarkably well in test accuracy and calibration metrics, leading to state-of-the-art results on CIFAR-100-LT, ImageNet-LT, and iNaturalist-2018 datasets. The code will be made publicly available upon paper acceptance.
• Abstract（参考訳）: 多くの現実世界の認識問題は、不均衡またはロングテールのラベル分布に苦しむ。 これらの分布は、尾クラス上の限定的な一般化のため、表現学習をより困難にする。 テスト分布がトレーニング分布(例えば、制服とロングテール)と異なる場合、分布シフトの問題に対処する必要がある。 この目的のために、最近の研究はベイズの定理に触発されて、マージン修正を用いてソフトマックスのクロスエントロピーを拡張した。 本稿では,データの不均衡に対処するために,複数のモデル群と異なるテスト時間目標分布を組み合わせたバランデッド・プロダクト・オブ・エキスパートズ(BalPoE)を用いて,いくつかのアプローチを一般化する。 提案された専門家は、共同または独立して単一のステージで訓練され、バルポエにシームレスに融合する。 バランスの取れた誤差を最小限に抑えるため,BalPoE は Fisher に一貫性があることを示し,提案手法の有効性を検証するための実験を行った。 最後に、この設定におけるMixupの効果について検討し、正規化が校正された専門家を学習するための重要な要素であることを明らかにする。 実験の結果,CIFAR-100-LT, ImageNet-LT, iNaturalist-2018データセットでは, 正則化 BalPoE の精度と校正精度が著しく向上することが確認された。 コードは、紙が受け入れられれば公開される予定だ。

関連論文リスト

• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Harnessing Hierarchical Label Distribution Variations in Test Agnostic Long-tail Recognition [114.96385572118042]
  テストラベルの分布の変動は階層的にグローバルレベルとローカルレベルに分解できると主張している。 ラベル分布の異なるDirichletメタ分布に専門家を割り当てる新しいMoE戦略である$mathsfDirMixE$を提案する。 本稿では,分散に基づく正規化による一般化の促進による目的性を示す。
  論文  参考訳（メタデータ） (2024-05-13T14:24:56Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Divide and not forget: Ensemble of selectively trained experts in Continual Learning [0.2886273197127056]
  クラス増分学習は、モデルがすでに知っていることを忘れずに適用範囲を広げるのに役立つため、人気が高まっている。 この領域のトレンドは、異なるモデルがタスクを解決するために一緒に働く、エキスパートの混合技術を使うことである。 SEEDは、考慮されたタスクに対して最も最適な専門家である1人だけを選択し、このタスクからのデータを使用して、この専門家のみを微調整する。
  論文  参考訳（メタデータ） (2024-01-18T18:25:29Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Unbiased Gradient Estimation with Balanced Assignments for Mixtures of Experts [32.43213645631101]
  大規模な専門家モデルの混合を効率的に訓練するには、バッチ内のデータポイントを異なる専門家に割り当てる必要があり、それぞれが限られた能力を持つ。 最近提案された代入手順には確率論的解釈が欠如しており、訓練に偏りのある推定器が用いられている。 提案手法は,専門家の能力を超えるデータポイントをスキップする手法と,完全にバランスの取れた割り当てをサンプリングする手法である。
  論文  参考訳（メタデータ） (2021-09-24T09:02:12Z)
• Test-Agnostic Long-Tailed Recognition by Test-Time Aggregating Diverse Experts with Self-Supervision [85.07855130048951]
  本研究では,テスト非依存型ロングテール認識(test-agnostic long-tailed recognition)と呼ばれる,より実践的なタスク設定について検討する。 本稿では,多種多様な専門家に異なるテスト分布を扱うように訓練するTADE(Test-time Aggregating Diverse Experts)と呼ばれる新しい手法を提案する。 理論的には,提案手法は未知のテストクラス分布をシミュレートできることを示す。
  論文  参考訳（メタデータ） (2021-07-20T04:10:31Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。