論文の概要: Long-tailed Classification from a Bayesian-decision-theory Perspective
- arxiv url: http://arxiv.org/abs/2303.06075v2
- Date: Tue, 21 Mar 2023 00:36:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-23 22:59:07.073015
- Title: Long-tailed Classification from a Bayesian-decision-theory Perspective
- Title（参考訳）: ベイズ決定理論から見た長い尾の分類
- Authors: Bolian Li, Ruqi Zhang
- Abstract要約: 長い尾の分類は、クラス確率の過度な不均衡と非対称な予測コストを伴う尾の感度リスクのために課題となる。
最近の試みでは、再分散損失とアンサンブル法を用いているが、理論的な説明が欠如しており、主に経験的な結果に大きく依存している。
本稿では,ベイズ決定理論の観点から,再バランス法やアンサンブル法を含む既存の手法を統一した一般原理的・原則的枠組みを提案する。
- 参考スコア（独自算出の注目度）: 6.599344783327054
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Long-tailed classification poses a challenge due to its heavy imbalance in
class probabilities and tail-sensitivity risks with asymmetric misprediction
costs. Recent attempts have used re-balancing loss and ensemble methods, but
they are largely heuristic and depend heavily on empirical results, lacking
theoretical explanation. Furthermore, existing methods overlook the decision
loss, which characterizes different costs associated with tailed classes. This
paper presents a general and principled framework from a
Bayesian-decision-theory perspective, which unifies existing techniques
including re-balancing and ensemble methods, and provides theoretical
justifications for their effectiveness. From this perspective, we derive a
novel objective based on the integrated risk and a Bayesian deep-ensemble
approach to improve the accuracy of all classes, especially the "tail".
Besides, our framework allows for task-adaptive decision loss which provides
provably optimal decisions in varying task scenarios, along with the capability
to quantify uncertainty. Finally, We conduct comprehensive experiments,
including standard classification, tail-sensitive classification with a new
False Head Rate metric, calibration, and ablation studies. Our framework
significantly improves the current SOTA even on large-scale real-world datasets
like ImageNet.
- Abstract（参考訳）: 長い尾の分類は、クラス確率の過度な不均衡と非対称な予測コストを伴う尾の感度リスクのために課題となる。
最近の試みでは、損失とアンサンブルの方法の再バランスを用いたが、それらはほとんどヒューリスティックであり、理論的な説明が欠けている経験的結果に大きく依存している。
さらに、既存の手法は、末尾クラスに関連する異なるコストを特徴付ける決定損失を見落としている。
本稿では,バイーシアン・決定理論の観点から,再バランス法やアンサンブル法を含む既存の手法を統一し,その有効性を理論的に正当化する枠組みを提案する。
この観点から,統合リスクに基づく新たな目標と,すべてのクラス,特に「尾」の精度を向上させるベイズ的深センブルアプローチを導出する。
さらに,我々のフレームワークでは,さまざまなタスクシナリオにおける最適決定と不確実性を定量化する能力を備えた,タスク適応的意思決定の損失を許容する。
最後に, 標準分類, テールセンシティブ分類, 新しいFalse Head Rate測定, キャリブレーション, アブレーション研究を含む包括的実験を行った。
我々のフレームワークは、ImageNetのような大規模な実世界のデータセットでさえ、現在のSOTAを大幅に改善します。
関連論文リスト
- Learning Confidence Bounds for Classification with Imbalanced Data [42.690254618937196]
本稿では,学習理論と集中不等式を利用して従来のソリューションの欠点を克服する新しい枠組みを提案する。
本手法は, クラスごとに異なる不均衡度に効果的に適応できるため, より堅牢で信頼性の高い分類結果が得られる。
論文 参考訳（メタデータ） (2024-07-16T16:02:27Z) - Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。
学習シナリオにおける同値性に基づく単一のフレームワークを提案する。
我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
論文 参考訳（メタデータ） (2024-05-09T12:52:22Z) - Uncertainty-guided Boundary Learning for Imbalanced Social Event
Detection [64.4350027428928]
本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。
我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
論文 参考訳（メタデータ） (2023-10-30T03:32:04Z) - The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。
理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
論文 参考訳（メタデータ） (2023-09-13T16:33:27Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - On the Complexity of Adversarial Decision Making [101.14158787665252]
決定推定係数は, 相手の意思決定に対する後悔度を低く抑えるのに必要であり, 十分であることを示す。
我々は、決定推定係数を他のよく知られた複雑性尺度の変種に結びつける新しい構造結果を提供する。
論文 参考訳（メタデータ） (2022-06-27T06:20:37Z) - Adversarial Robustness via Fisher-Rao Regularization [33.134075068748984]
適応的堅牢性は、機械学習への関心の高まりのトピックとなっている。
火はカテゴリーのクロスエントロピー損失に対する新しいフィッシャー・ラオ正規化である。
論文 参考訳（メタデータ） (2021-06-12T04:12:58Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳（メタデータ） (2020-06-09T09:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。