論文の概要: MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2405.18979v3
• Date: Mon, 25 Nov 2024 12:00:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:17:05.354496
• Title: MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts
• Title（参考訳）: MANO: 分布シフトによる教師なし精度推定のためのマトリックスノルムの爆発
• Authors: Renchunzi Xie, Ambroise Odonnat, Vasilii Feofanov, Weijian Deng, Jianfeng Zhang, Bo An,
• Abstract要約: モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。 実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。 予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
• 参考スコア（独自算出の注目度）: 25.643876327918544
• License:
• Abstract: Leveraging the models' outputs, specifically the logits, is a common approach to estimating the test accuracy of a pre-trained neural network on out-of-distribution (OOD) samples without requiring access to the corresponding ground truth labels. Despite their ease of implementation and computational efficiency, current logit-based methods are vulnerable to overconfidence issues, leading to prediction bias, especially under the natural shift. In this work, we first study the relationship between logits and generalization performance from the view of low-density separation assumption. Our findings motivate our proposed method MaNo which (1) applies a data-dependent normalization on the logits to reduce prediction bias, and (2) takes the $L_p$ norm of the matrix of normalized logits as the estimation score. Our theoretical analysis highlights the connection between the provided score and the model's uncertainty. We conduct an extensive empirical study on common unsupervised accuracy estimation benchmarks and demonstrate that MaNo achieves state-of-the-art performance across various architectures in the presence of synthetic, natural, or subpopulation shifts. The code is available at \url{https://github.com/Renchunzi-Xie/MaNo}.
• Abstract（参考訳）: モデル出力、特にロジットの活用は、対応する基底真理ラベルへのアクセスを必要とせずに、アウト・オブ・ディストリビューション(OOD)サンプル上でトレーニング済みのニューラルネットワークのテスト精度を推定する一般的なアプローチである。 実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に対して脆弱であり、特に自然変化の下では予測バイアスにつながる。 本研究では,まず,ロジットと一般化性能の関係について,低密度分離仮定の観点から検討する。 提案手法は,(1)ロジットにデータ依存正規化を適用して予測バイアスを低減し,(2)正規化ロジットの行列の$L_p$ノルムを推定スコアとする手法である。 我々の理論的分析は、提供されたスコアとモデルの不確実性との関係を強調している。 我々は、一般的な教師なし精度推定ベンチマークに関する広範な実証的研究を行い、MaNoは、合成、自然、またはサブポピュレーションシフトの存在下で、様々なアーキテクチャで最先端のパフォーマンスを達成することを実証した。 コードは \url{https://github.com/Renchunzi-Xie/MaNo} で公開されている。

関連論文リスト

• Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
  本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。 連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。 提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
  論文  参考訳（メタデータ） (2024-08-14T20:14:42Z)
• ConjNorm: Tractable Density Estimation for Out-of-Distribution Detection [41.41164637577005]
  ポストホックアウト・オブ・ディストリビューション(OOD)検出は、信頼性の高い機械学習において大きな注目を集めている。 本稿では,密度に基づくスコア設計の統一的な視点を提供するために,Bregmanの発散に基づく理論的枠組みを提案する。 我々は,提案するtextscConjNormが,様々なOOD検出設定において,新たな最先端技術を確立したことを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:02:47Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• BENN: Bias Estimation Using Deep Neural Network [37.70583323420925]
  本稿では,未学習の深層ニューラルネットワークを用いた新しいバイアス推定手法であるBENNを提案する。 MLモデルとデータサンプルを与えられたBENNは、モデルの予測に基づいてすべての機能に対するバイアス推定を提供します。 3つのベンチマークデータセットと1つの独自のチャーン予測モデルを用いてBENNを評価した。
  論文  参考訳（メタデータ） (2020-12-23T08:25:35Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。