論文の概要: Long-tailed Classification from a Bayesian-decision-theory Perspective
- arxiv url: http://arxiv.org/abs/2303.06075v2
- Date: Tue, 21 Mar 2023 00:36:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-23 22:59:07.073015
- Title: Long-tailed Classification from a Bayesian-decision-theory Perspective
- Title(参考訳): ベイズ決定理論から見た長い尾の分類
- Authors: Bolian Li, Ruqi Zhang
- Abstract要約: 長い尾の分類は、クラス確率の過度な不均衡と非対称な予測コストを伴う尾の感度リスクのために課題となる。
最近の試みでは、再分散損失とアンサンブル法を用いているが、理論的な説明が欠如しており、主に経験的な結果に大きく依存している。
本稿では,ベイズ決定理論の観点から,再バランス法やアンサンブル法を含む既存の手法を統一した一般原理的・原則的枠組みを提案する。
- 参考スコア(独自算出の注目度): 6.599344783327054
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Long-tailed classification poses a challenge due to its heavy imbalance in
class probabilities and tail-sensitivity risks with asymmetric misprediction
costs. Recent attempts have used re-balancing loss and ensemble methods, but
they are largely heuristic and depend heavily on empirical results, lacking
theoretical explanation. Furthermore, existing methods overlook the decision
loss, which characterizes different costs associated with tailed classes. This
paper presents a general and principled framework from a
Bayesian-decision-theory perspective, which unifies existing techniques
including re-balancing and ensemble methods, and provides theoretical
justifications for their effectiveness. From this perspective, we derive a
novel objective based on the integrated risk and a Bayesian deep-ensemble
approach to improve the accuracy of all classes, especially the "tail".
Besides, our framework allows for task-adaptive decision loss which provides
provably optimal decisions in varying task scenarios, along with the capability
to quantify uncertainty. Finally, We conduct comprehensive experiments,
including standard classification, tail-sensitive classification with a new
False Head Rate metric, calibration, and ablation studies. Our framework
significantly improves the current SOTA even on large-scale real-world datasets
like ImageNet.
- Abstract(参考訳): 長い尾の分類は、クラス確率の過度な不均衡と非対称な予測コストを伴う尾の感度リスクのために課題となる。
最近の試みでは、損失とアンサンブルの方法の再バランスを用いたが、それらはほとんどヒューリスティックであり、理論的な説明が欠けている経験的結果に大きく依存している。
さらに、既存の手法は、末尾クラスに関連する異なるコストを特徴付ける決定損失を見落としている。
本稿では,バイーシアン・決定理論の観点から,再バランス法やアンサンブル法を含む既存の手法を統一し,その有効性を理論的に正当化する枠組みを提案する。
この観点から,統合リスクに基づく新たな目標と,すべてのクラス,特に「尾」の精度を向上させるベイズ的深センブルアプローチを導出する。
さらに,我々のフレームワークでは,さまざまなタスクシナリオにおける最適決定と不確実性を定量化する能力を備えた,タスク適応的意思決定の損失を許容する。
最後に, 標準分類, テールセンシティブ分類, 新しいFalse Head Rate測定, キャリブレーション, アブレーション研究を含む包括的実験を行った。
我々のフレームワークは、ImageNetのような大規模な実世界のデータセットでさえ、現在のSOTAを大幅に改善します。
関連論文リスト
- Uncertainty-guided Boundary Learning for Imbalanced Social Event
Detection [64.4350027428928]
本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。
我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
論文 参考訳(メタデータ) (2023-10-30T03:32:04Z) - The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in
Deep Learning [73.5095051707364]
経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。
理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
論文 参考訳(メタデータ) (2023-09-13T16:33:27Z) - Robust Linear Regression: Phase-Transitions and Precise Tradeoffs for
General Norms [29.936005822346054]
線形回帰モデルに対するテスト時間逆行攻撃の影響について検討する。
標準予測性能(正確性)の所定のレベルを維持しながら、どのモデルでも到達できる最適なロバストネスのレベルを決定する。
我々は、標準的な精度を損なうことなく、ロバスト性が達成可能なレジームと、トレードオフが避けられないレジームとを区別する正確なキャラクタリゼーションを得る。
論文 参考訳(メタデータ) (2023-08-01T13:55:45Z) - A comprehensive theoretical framework for the optimization of neural
networks classification performance with respect to weighted metrics [1.0499611180329804]
多くの文脈において、ニューラルネットワークによって実行される予測の良さを評価するために、カスタマイズされた分類スコアと重み付けされた分類スコアが設計されている。
我々は、重み付けされた分類指標を形式化し、モデルにこれらの関心を最適化させる損失の構築を可能にする完全な設定を提供する。
論文 参考訳(メタデータ) (2023-05-22T20:33:29Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳(メタデータ) (2023-01-16T14:25:02Z) - On the Complexity of Adversarial Decision Making [101.14158787665252]
決定推定係数は, 相手の意思決定に対する後悔度を低く抑えるのに必要であり, 十分であることを示す。
我々は、決定推定係数を他のよく知られた複雑性尺度の変種に結びつける新しい構造結果を提供する。
論文 参考訳(メタデータ) (2022-06-27T06:20:37Z) - Adversarial Robustness via Fisher-Rao Regularization [33.134075068748984]
適応的堅牢性は、機械学習への関心の高まりのトピックとなっている。
火はカテゴリーのクロスエントロピー損失に対する新しいフィッシャー・ラオ正規化である。
論文 参考訳(メタデータ) (2021-06-12T04:12:58Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳(メタデータ) (2020-06-09T09:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。