論文の概要: On the Importance of Feature Separability in Predicting
Out-Of-Distribution Error
- arxiv url: http://arxiv.org/abs/2303.15488v2
- Date: Mon, 23 Oct 2023 06:49:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 13:14:07.512123
- Title: On the Importance of Feature Separability in Predicting
Out-Of-Distribution Error
- Title（参考訳）: 外部分布誤差予測における特徴分離性の重要性について
- Authors: Renchunzi Xie, Hongxin Wei, Lei Feng, Yuzhou Cao, Bo An
- Abstract要約: そこで本研究では,分布シフト時のテスト精度を推定するために,特徴分散に基づくデータセットレベルスコアを提案する。
本手法は,表現学習における特徴の望ましい特性,すなわちクラス間分散とクラス内コンパクト性に着想を得たものである。
- 参考スコア（独自算出の注目度）: 25.995311155942016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating the generalization performance is practically challenging on
out-of-distribution (OOD) data without ground-truth labels. While previous
methods emphasize the connection between distribution difference and OOD
accuracy, we show that a large domain gap not necessarily leads to a low test
accuracy. In this paper, we investigate this problem from the perspective of
feature separability empirically and theoretically. Specifically, we propose a
dataset-level score based upon feature dispersion to estimate the test accuracy
under distribution shift. Our method is inspired by desirable properties of
features in representation learning: high inter-class dispersion and high
intra-class compactness. Our analysis shows that inter-class dispersion is
strongly correlated with the model accuracy, while intra-class compactness does
not reflect the generalization performance on OOD data. Extensive experiments
demonstrate the superiority of our method in both prediction performance and
computational efficiency.
- Abstract（参考訳）: 土木ラベルを使わずに分布外データ(OOD)で一般化性能を推定することは事実上困難である。
従来の手法では分布差とood精度の関係を強調するが,領域ギャップが大きいと必ずしもテスト精度が低いとは限らない。
本稿では,特徴分離性の観点から,この問題を経験的,理論的に検討する。
具体的には,分布シフト時のテスト精度を推定するために,特徴分散に基づくデータセットレベルスコアを提案する。
本手法は,高クラス間分散と高クラス内コンパクト性という,表現学習における特徴の望ましい特性に着想を得たものである。
その結果, クラス間分散はモデル精度と強く相関するが, クラス内コンパクト性はoodデータの一般化性能を反映しないことがわかった。
予測性能と計算効率の両方において,本手法の優位性を示す実験を行った。
関連論文リスト
- MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts [25.643876327918544]
モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。
実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。
予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
論文 参考訳（メタデータ） (2024-05-29T10:45:06Z) - Topology-Matching Normalizing Flows for Out-of-Distribution Detection in
Robot Learning [38.97407602443256]
正規化フロー(NFs)を用いた密度推定に基づくOOD検出のための強力なアプローチ
本研究では,このトポロジ的ミスマッチを回避するために,情報理論の目的を学習した表現型クラス条件ベース分布を用いて,このトポロジ的ミスマッチを回避する。
本研究では, 密度推定と2次元物体検出ベンチマークにおいて, 広範囲なベースラインと比較して優れた結果を示す。
論文 参考訳（メタデータ） (2023-11-11T05:09:31Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - Inconsistency, Instability, and Generalization Gap of Deep Neural
Network Training [14.871738070617491]
不整合は、損失景観の鋭さよりも、一般化ギャップの信頼性の高い指標であることを示す。
この結果は、共蒸留やアンサンブルといった既存の手法の理論的基盤も提供する。
論文 参考訳（メタデータ） (2023-05-31T20:28:13Z) - Adaptive Dimension Reduction and Variational Inference for Transductive
Few-Shot Classification [2.922007656878633]
適応次元の削減によりさらに改善された変分ベイズ推定に基づく新しいクラスタリング法を提案する。
提案手法は,Few-Shotベンチマークにおける現実的非バランスなトランスダクティブ設定の精度を大幅に向上させる。
論文 参考訳（メタデータ） (2022-09-18T10:29:02Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty [58.144520501201995]
ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
論文 参考訳（メタデータ） (2021-10-12T22:04:19Z) - Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。
分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。
具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文 参考訳（メタデータ） (2021-07-07T15:50:18Z) - Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。
トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。
トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
論文 参考訳（メタデータ） (2021-04-16T03:54:21Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳（メタデータ） (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。