論文の概要: Balanced Product of Calibrated Experts for Long-Tailed Recognition

• arxiv url: http://arxiv.org/abs/2206.05260v3
• Date: Wed, 7 Jun 2023 17:52:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 20:22:20.934768
• Title: Balanced Product of Calibrated Experts for Long-Tailed Recognition
• Title（参考訳）: 長期認識のための校正専門家のバランスの取れた製品
• Authors: Emanuel Sanchez Aimar, Arvi Jonnarth, Michael Felsberg, Marco Kuhlmann
• Abstract要約: 多くの実世界の認識問題は長いラベルの分布によって特徴づけられる。 本研究では分析的アプローチを採り、ロジット調整の概念をアンサンブルに拡張し、専門家のバランス製品(BalPoE)を形成する。 我々はこれらの分布を適切に定義し、偏りのない予測を達成するために専門家を組み合わせる方法を示す。
• 参考スコア（独自算出の注目度）: 13.194151879344487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world recognition problems are characterized by long-tailed label distributions. These distributions make representation learning highly challenging due to limited generalization over the tail classes. If the test distribution differs from the training distribution, e.g. uniform versus long-tailed, the problem of the distribution shift needs to be addressed. A recent line of work proposes learning multiple diverse experts to tackle this issue. Ensemble diversity is encouraged by various techniques, e.g. by specializing different experts in the head and the tail classes. In this work, we take an analytical approach and extend the notion of logit adjustment to ensembles to form a Balanced Product of Experts (BalPoE). BalPoE combines a family of experts with different test-time target distributions, generalizing several previous approaches. We show how to properly define these distributions and combine the experts in order to achieve unbiased predictions, by proving that the ensemble is Fisher-consistent for minimizing the balanced error. Our theoretical analysis shows that our balanced ensemble requires calibrated experts, which we achieve in practice using mixup. We conduct extensive experiments and our method obtains new state-of-the-art results on three long-tailed datasets: CIFAR-100-LT, ImageNet-LT, and iNaturalist-2018. Our code is available at https://github.com/emasa/BalPoE-CalibratedLT.
• Abstract（参考訳）: 多くの現実世界の認識問題は長いラベル分布によって特徴づけられる。 これらの分布は、尾クラス上の限定的な一般化のため、表現学習を非常に困難にする。 テスト分布がトレーニング分布(例えば、制服とロングテール)と異なる場合、分布シフトの問題に対処する必要がある。 最近の一連の研究は、この問題に取り組むために複数の多様な専門家を学ぶことを提案する。 アンサンブルの多様性は、例えば頭と尾のクラスで異なる専門家を専門にすることで、様々な技術によって奨励される。 本研究では分析的アプローチを採り、ロジット調整の概念をアンサンブルに拡張し、専門家のバランス製品(BalPoE)を形成する。 balpoeは専門家のファミリーと異なるテスト時間ターゲット分布を組み合わせることで、いくつかのアプローチを一般化している。 これらの分布を適切に定義し、バランスのとれた誤差を最小化するために、アンサンブルがフィッシャー一貫性があることを証明し、偏りのない予測を達成するために専門家を組み合わせる方法を示す。 我々の理論分析は、バランスの取れたアンサンブルは、調整された専門家を必要とすることを示している。 我々は, CIFAR-100-LT, ImageNet-LT, iNaturalist-2018 の3つの長尾データセットに対して, 実験を行った。 私たちのコードはhttps://github.com/emasa/BalPoE-CalibratedLTで公開されています。

関連論文リスト

• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Harnessing Hierarchical Label Distribution Variations in Test Agnostic Long-tail Recognition [114.96385572118042]
  テストラベルの分布の変動は階層的にグローバルレベルとローカルレベルに分解できると主張している。 ラベル分布の異なるDirichletメタ分布に専門家を割り当てる新しいMoE戦略である$mathsfDirMixE$を提案する。 本稿では,分散に基づく正規化による一般化の促進による目的性を示す。
  論文  参考訳（メタデータ） (2024-05-13T14:24:56Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Divide and not forget: Ensemble of selectively trained experts in Continual Learning [0.2886273197127056]
  クラス増分学習は、モデルがすでに知っていることを忘れずに適用範囲を広げるのに役立つため、人気が高まっている。 この領域のトレンドは、異なるモデルがタスクを解決するために一緒に働く、エキスパートの混合技術を使うことである。 SEEDは、考慮されたタスクに対して最も最適な専門家である1人だけを選択し、このタスクからのデータを使用して、この専門家のみを微調整する。
  論文  参考訳（メタデータ） (2024-01-18T18:25:29Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Unbiased Gradient Estimation with Balanced Assignments for Mixtures of Experts [32.43213645631101]
  大規模な専門家モデルの混合を効率的に訓練するには、バッチ内のデータポイントを異なる専門家に割り当てる必要があり、それぞれが限られた能力を持つ。 最近提案された代入手順には確率論的解釈が欠如しており、訓練に偏りのある推定器が用いられている。 提案手法は,専門家の能力を超えるデータポイントをスキップする手法と,完全にバランスの取れた割り当てをサンプリングする手法である。
  論文  参考訳（メタデータ） (2021-09-24T09:02:12Z)
• Test-Agnostic Long-Tailed Recognition by Test-Time Aggregating Diverse Experts with Self-Supervision [85.07855130048951]
  本研究では,テスト非依存型ロングテール認識(test-agnostic long-tailed recognition)と呼ばれる,より実践的なタスク設定について検討する。 本稿では,多種多様な専門家に異なるテスト分布を扱うように訓練するTADE(Test-time Aggregating Diverse Experts)と呼ばれる新しい手法を提案する。 理論的には,提案手法は未知のテストクラス分布をシミュレートできることを示す。
  論文  参考訳（メタデータ） (2021-07-20T04:10:31Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。