論文の概要: Assessing Model Generalization in Vicinity

• arxiv url: http://arxiv.org/abs/2406.09257v1
• Date: Thu, 13 Jun 2024 15:58:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 16:55:18.366207
• Title: Assessing Model Generalization in Vicinity
• Title（参考訳）: ビシニティにおけるモデル一般化の評価
• Authors: Yuchi Liu, Yifan Sun, Jingdong Wang, Liang Zheng,
• Abstract要約: 本稿では, 分布外テストセットにおける分類モデルの一般化能力について, 基礎的真理ラベルに依存することなく評価する。 そこで本研究では,各試料の正当性評価に,隣り合う試験試料からの応答を取り入れることを提案する。 結果のスコアは、すべてのテストサンプルで平均化され、モデル精度の全体像が示される。
• 参考スコア（独自算出の注目度）: 34.86022681163714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper evaluates the generalization ability of classification models on out-of-distribution test sets without depending on ground truth labels. Common approaches often calculate an unsupervised metric related to a specific model property, like confidence or invariance, which correlates with out-of-distribution accuracy. However, these metrics are typically computed for each test sample individually, leading to potential issues caused by spurious model responses, such as overly high or low confidence. To tackle this challenge, we propose incorporating responses from neighboring test samples into the correctness assessment of each individual sample. In essence, if a model consistently demonstrates high correctness scores for nearby samples, it increases the likelihood of correctly predicting the target sample, and vice versa. The resulting scores are then averaged across all test samples to provide a holistic indication of model accuracy. Developed under the vicinal risk formulation, this approach, named vicinal risk proxy (VRP), computes accuracy without relying on labels. We show that applying the VRP method to existing generalization indicators, such as average confidence and effective invariance, consistently improves over these baselines both methodologically and experimentally. This yields a stronger correlation with model accuracy, especially on challenging out-of-distribution test sets.
• Abstract（参考訳）: 本稿では, 分布外テストセットにおける分類モデルの一般化能力について, 基礎的真理ラベルに依存することなく評価する。 一般的なアプローチは、信頼や不変性のような特定のモデルの性質に関連する教師なしの計量を計算することがあり、これは分布外精度と相関する。 しかしながら、これらのメトリクスは通常、各テストサンプルに対して個別に計算されるため、過度に高い、あるいは低い信頼度などの刺激的なモデル応答に起因する潜在的な問題が発生する。 この課題に対処するため,各試料の正当性評価に隣接する試験試料からの応答を取り入れることを提案する。 基本的に、モデルが近くのサンプルに対して高い正当性スコアを一貫して示すと、ターゲットサンプルを正確に予測する確率が高くなり、その逆も増加する。 結果のスコアは、すべてのテストサンプルで平均化され、モデル精度の全体像が示される。 ヴィジナル・リスク・プロキシ(Vivinal Risk proxy, VRP)は、ビジナル・リスク・プロキシ(vicinal risk proxy, VRP)と呼ばれる手法で開発され、ラベルを頼らずに精度を計算する。 従来の一般化指標(平均信頼度や有効不変性など)にVRP法を適用することで,これらのベースラインを方法論的にも実験的にも一貫して改善することを示す。 これにより、特にアウト・オブ・ディストリビューションテストセットの挑戦において、モデル精度との相関が強くなる。

関連論文リスト

• Distributional bias compromises leave-one-out cross-validation [0.6656737591902598]
  クロスバリデーションは機械学習モデルの予測性能を推定する一般的な手法である。 そこで本研究では,"leave-out-out cross-validation" という手法によって,各トレーニングフォールドの平均ラベルと対応するテストインスタンスのラベルとの間に負の相関が生じることを示す。 分布バイアスを補正する一般化可能な再均衡型クロスバリデーション手法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:47:34Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [74.43215520371506]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• A Statistical Model for Predicting Generalization in Few-Shot Classification [6.158812834002346]
  一般化誤差を予測するために,特徴分布のガウスモデルを導入する。 提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-13T10:21:15Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Model-agnostic out-of-distribution detection using combined statistical tests [15.27980070479021]
  本稿では,学習された生成モデルを用いた分布外検出のための簡易な手法を提案する。 古典的パラメトリックテスト(ラオのスコアテスト)と最近導入された定性テストを組み合わせる。 その単純さと汎用性にもかかわらず、これらの手法はモデル固有のアウト・オブ・ディストリビューション検出アルゴリズムと競合することがある。
  論文  参考訳（メタデータ） (2022-03-02T13:32:09Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Achieving Equalized Odds by Resampling Sensitive Attributes [13.114114427206678]
  等価性の概念をほぼ満足する予測モデルを学習するためのフレキシブルなフレームワークを提案する。 この微分可能な関数は、モデルパラメータを等化奇数に向けて駆動するペナルティとして使用される。 本研究は,予測規則が本性質に反するか否かを検出するための公式な仮説テストを開発する。
  論文  参考訳（メタデータ） (2020-06-08T00:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。