論文の概要: Toward Auto-evaluation with Confidence-based Category Relation-aware Regression

• arxiv url: http://arxiv.org/abs/2304.08288v1
• Date: Mon, 17 Apr 2023 14:00:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 14:59:16.800622
• Title: Toward Auto-evaluation with Confidence-based Category Relation-aware Regression
• Title（参考訳）: 信頼に基づくカテゴリー関係認識回帰による自己評価に向けて
• Authors: Jiexin Wang, Jiahao Chen, Bing Su
• Abstract要約: 信頼に基づくカテゴリ関係認識回帰法(C2R2$)を提案する。 C2R2$は、すべてのインスタンスを信頼スコアに応じて異なるカテゴリに分割し、それらからグローバルな表現を抽出する。 各カテゴリについて、$C2R2$は、他のカテゴリとの局所的な混乱関係を局所表現にエンコードする。
• 参考スコア（独自算出の注目度）: 26.523665091299062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Auto-evaluation aims to automatically evaluate a trained model on any test dataset without human annotations. Most existing methods utilize global statistics of features extracted by the model as the representation of a dataset. This ignores the influence of the classification head and loses category-wise confusion information of the model. However, ratios of instances assigned to different categories together with their confidence scores reflect how many instances in which categories are difficult for the model to classify, which contain significant indicators for both overall and category-wise performances. In this paper, we propose a Confidence-based Category Relation-aware Regression ($C^2R^2$) method. $C^2R^2$ divides all instances in a meta-set into different categories according to their confidence scores and extracts the global representation from them. For each category, $C^2R^2$ encodes its local confusion relations to other categories into a local representation. The overall and category-wise performances are regressed from global and local representations, respectively. Extensive experiments show the effectiveness of our method.
• Abstract（参考訳）: 自動評価は、人間のアノテーションなしで任意のテストデータセット上でトレーニングされたモデルを自動的に評価することを目的としている。 既存の手法のほとんどは、データセットの表現としてモデルによって抽出された特徴のグローバル統計を利用する。 これは分類ヘッドの影響を無視し、モデルのカテゴリ別混乱情報を失う。 しかしながら、異なるカテゴリに割り当てられたインスタンスの比率とその信頼度スコアは、モデルが分類するのが困難であるカテゴリの数を反映している。 本稿では,信頼に基づくカテゴリ関係認識回帰(C^2R^2$)手法を提案する。 c^2r^2$ メタセット内のすべてのインスタンスを信頼度スコアに応じて異なるカテゴリに分割し、それらからグローバル表現を抽出する。 各カテゴリについて、$C^2R^2$は、他のカテゴリとの局所的な混乱関係を局所表現に符号化する。 全体的なパフォーマンスとカテゴリワイドパフォーマンスは、それぞれグローバルとローカルの表現から回帰している。 広範な実験により,本手法の有効性が示された。

関連論文リスト

• Embracing Diversity: Interpretable Zero-shot classification beyond one vector per class [16.101460010750458]
  クラス内の多様性を表現するために、ゼロショット分類は単一のベクトルを超えるべきであると論じる。 そこで本研究では,ゼロショット設定において,推論属性を用いたクラス内の多様性のエンコードと説明を行う手法を提案する。 提案手法は,大規模なデータセット群に対して,標準ゼロショット分類よりも一貫して優れることがわかった。
  論文  参考訳（メタデータ） (2024-04-25T16:29:06Z)
• Multiclass ROC [6.941573057921458]
  ペアワイズ・マルチクラス・True Positive Rate(TPR)とFalse Positive Rate(FPR)を要約した評価指標を提供する。 これらの分解ベクターに対する統合は、パフォーマンスに関する2値のAUC等価サマリを提供する。 提案手法をベンチマークデータセット上でのペア平均AUC統計値と比較した。
  論文  参考訳（メタデータ） (2024-04-19T19:25:10Z)
• A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
  分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。 非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-26T14:21:45Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• Balanced Classification: A Unified Framework for Long-Tailed Object Detection [74.94216414011326]
  従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。 本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。 BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-08-04T09:11:07Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Estimating Structural Disparities for Face Models [54.062512989859265]
  機械学習では、異なるサブ人口間でのモデルの性能や結果の差を測定することで、しばしば異質度の測定が定義される。 本研究では、人間の顔に訓練されたコンピュータビジョンモデルや、顔属性予測や影響推定などのタスクについて、そのような分析を行う。
  論文  参考訳（メタデータ） (2022-04-13T05:30:53Z)
• Imagine by Reasoning: A Reasoning-Based Implicit Semantic Data Augmentation for Long-Tailed Classification [17.08583412899347]
  実世界のデータは、しばしば長い尾の分布に従うため、既存の分類アルゴリズムの性能は大幅に低下する。 本稿では,他のクラスから変換方向を借用する,推論に基づく暗黙的意味データ拡張手法を提案する。 CIFAR-100-LT, ImageNet-LT, iNaturalist 2018の実験結果から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-15T07:14:39Z)
• On Clustering Categories of Categorical Predictors in Generalized Linear Models [0.0]
  本稿では,分類予測器の存在下での一般化線形モデルの複雑性を低減する手法を提案する。 各カテゴリがダミー変数で表される従来のワンホット符号化は、無駄で解釈が難しく、過度に適合する傾向がある。 本稿では,カテゴリをクラスタリングすることでカテゴリ予測器の表現を小さくすることで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2021-10-19T15:36:35Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。