論文の概要: Towards Reliable Rare Category Analysis on Graphs via Individual Calibration

• arxiv url: http://arxiv.org/abs/2307.09858v1
• Date: Wed, 19 Jul 2023 09:38:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 14:37:36.844568
• Title: Towards Reliable Rare Category Analysis on Graphs via Individual Calibration
• Title（参考訳）: 個別校正によるグラフの信頼性の高い希少カテゴリー分析に向けて
• Authors: Longfeng Wu, Bowen Lei, Dongkuan Xu, Dawei Zhou
• Abstract要約: 本稿では,レアカテゴリ分析のユニークな課題を軽減するために,CALIRAREという新たな個別校正フレームワークを提案する。 特に、RCAの不確かさを定量化するために、重なり合う支持領域を高い不確実性でモデル化するノードレベルの不確実性定量化を開発する。 誤校正計算におけるマイノリティークラスの希少性を扱うため、分布に基づく校正基準をインスタンスレベルに一般化し、個人誤差(EICE)と呼ばれるグラフ上での最初の個別校正測定を提案する。
• 参考スコア（独自算出の注目度）: 20.198794903478976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rare categories abound in a number of real-world networks and play a pivotal role in a variety of high-stakes applications, including financial fraud detection, network intrusion detection, and rare disease diagnosis. Rare category analysis (RCA) refers to the task of detecting, characterizing, and comprehending the behaviors of minority classes in a highly-imbalanced data distribution. While the vast majority of existing work on RCA has focused on improving the prediction performance, a few fundamental research questions heretofore have received little attention and are less explored: How confident or uncertain is a prediction model in rare category analysis? How can we quantify the uncertainty in the learning process and enable reliable rare category analysis? To answer these questions, we start by investigating miscalibration in existing RCA methods. Empirical results reveal that state-of-the-art RCA methods are mainly over-confident in predicting minority classes and under-confident in predicting majority classes. Motivated by the observation, we propose a novel individual calibration framework, named CALIRARE, for alleviating the unique challenges of RCA, thus enabling reliable rare category analysis. In particular, to quantify the uncertainties in RCA, we develop a node-level uncertainty quantification algorithm to model the overlapping support regions with high uncertainty; to handle the rarity of minority classes in miscalibration calculation, we generalize the distribution-based calibration metric to the instance level and propose the first individual calibration measurement on graphs named Expected Individual Calibration Error (EICE). We perform extensive experimental evaluations on real-world datasets, including rare category characterization and model calibration tasks, which demonstrate the significance of our proposed framework.
• Abstract（参考訳）: 多くの現実世界のネットワークにはレアカテゴリがあり、金融詐欺検出、ネットワーク侵入検出、まれな疾患診断など、様々な高リスクアプリケーションにおいて重要な役割を担っている。 希少なカテゴリ分析(れいカテゴリ分析、英: Rare category analysis、RCA)とは、高度に不均衡なデータ分布におけるマイノリティクラスの振る舞いを検出し、特徴づけ、理解するタスクである。 RCAに関する既存の研究の大部分は予測性能の改善に重点を置いているが、これまでのいくつかの基本的な研究課題はほとんど注目されておらず、調査されていない。 学習過程における不確実性を定量化し、信頼できるレアカテゴリー分析を可能にするにはどうすればいいのか? これらの疑問に答えるために、既存のRCA手法の誤校正を調査することから始める。 実験の結果,最先端のrca法は主にマイノリティクラス予測において過密であり,多数クラス予測では過密であることが判明した。 そこで本研究では,RCAのユニークな課題を緩和し,信頼性の高いレアカテゴリー分析を可能にする,新たな個別校正フレームワークCALIRAREを提案する。 特にrcaにおける不確かさを定量化するために,不確実性の高い重複するサポート領域をモデル化するノードレベルの不確実性定量化アルゴリズムを開発し,ミスカバリ計算におけるマイノリティクラスのララリティに対処するため,分布に基づくキャリブレーションメトリックをインスタンスレベルに一般化し,期待される個別キャリブレーションエラー(eice)と呼ばれるグラフ上の最初の個別キャリブレーション計測を提案する。 提案するフレームワークの意義を示す希少なカテゴリ評価やモデル校正タスクを含む,実世界のデータセットに対する広範な実験評価を行った。

関連論文リスト

• Investigating the Impact of Hard Samples on Accuracy Reveals In-class Data Imbalance [4.291589126905706]
  AutoMLドメインでは、モデルの有効性を評価するための重要な指標として、テスト精度が宣言される。 しかし、主性能指標としての試験精度の信頼性は疑問視されている。 トレーニングセットとテストセット間のハードサンプルの分布は、これらのセットの難易度に影響を与える。 本稿では,ハードサンプル識別法を比較するためのベンチマーク手法を提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:38:14Z)
• Is Difficulty Calibration All We Need? Towards More Practical Membership Inference Attacks [16.064233621959538]
  我々は,textbfRe-levertextbfA を直接 textbfRe-levertextbfA を用いて mtextbfItigate the error in textbfDifficulty calibration を提案する。
  論文  参考訳（メタデータ） (2024-08-31T11:59:42Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
  本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。 信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
  論文  参考訳（メタデータ） (2023-01-25T19:35:23Z)
• A Learning Based Hypothesis Test for Harmful Covariate Shift [3.1406146587437904]
  リスクの高いドメインの機械学習システムは、アウト・オブ・ディストリビューションテストの例で予測をすべきでないことを特定する必要がある。 本研究では、トレーニングデータに同意し、テストデータに同意するように訓練された分類器のアンサンブル間の不一致を利用して、モデルがデプロイ設定から削除されるかどうかを判断する。
  論文  参考訳（メタデータ） (2022-12-06T04:15:24Z)
• A Call to Reflect on Evaluation Practices for Failure Detection in Image Classification [0.491574468325115]
  本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。 簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
  論文  参考訳（メタデータ） (2022-11-28T12:25:27Z)
• A Review of Uncertainty Calibration in Pretrained Object Detectors [5.440028715314566]
  多クラス設定における事前訓練対象検出アーキテクチャの不確実性校正特性について検討する。 公平でバイアスのない,繰り返し可能な評価を実現するためのフレームワークを提案する。 検出器のキャリブレーションが低い理由について、新しい知見を提供する。
  論文  参考訳（メタデータ） (2022-10-06T14:06:36Z)
• Uncertainty-Driven Action Quality Assessment [67.20617610820857]
  本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。 我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。 提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
  論文  参考訳（メタデータ） (2022-07-29T07:21:15Z)
• Few-shot Forgery Detection via Guided Adversarial Interpolation [56.59499187594308]
  既存の偽造検出手法は、見知らぬ新しい偽造手法に適用した場合、大幅な性能低下に悩まされる。 本稿では,数発の偽造検出問題を克服するために,GAI(Guid Adversarial Interpolation)を提案する。 我々の手法は、多数派と少数派の偽造アプローチの選択に対して堅牢であることが検証されている。
  論文  参考訳（メタデータ） (2022-04-12T16:05:10Z)
• Investigation of Different Calibration Methods for Deep Speaker Embedding based Verification Systems [66.61691401921296]
  本稿では, ディープスピーカ埋込抽出器のスコアキャリブレーション法について検討する。 この研究のさらなる焦点は、スコア正規化がシステムの校正性能に与える影響を推定することである。
  論文  参考訳（メタデータ） (2022-03-28T21:22:22Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。