論文の概要: Quantifying Representation Reliability in Self-Supervised Learning Models
- arxiv url: http://arxiv.org/abs/2306.00206v2
- Date: Fri, 17 May 2024 18:48:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 01:00:22.513350
- Title: Quantifying Representation Reliability in Self-Supervised Learning Models
- Title(参考訳): 自己教師付き学習モデルにおける表現信頼性の定量化
- Authors: Young-Jin Park, Hao Wang, Shervin Ardeshir, Navid Azizan,
- Abstract要約: 自己教師付き学習モデルは、データから汎用的な表現を抽出する。
表現信頼性の形式的定義を導入する。
本稿では,下流タスクを優先課題と知らずに表現信頼性を推定するアンサンブルに基づく手法を提案する。
- 参考スコア(独自算出の注目度): 12.485580780944083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning models extract general-purpose representations from data. Quantifying the reliability of these representations is crucial, as many downstream models rely on them as input for their own tasks. To this end, we introduce a formal definition of representation reliability: the representation for a given test point is considered to be reliable if the downstream models built on top of that representation can consistently generate accurate predictions for that test point. However, accessing downstream data to quantify the representation reliability is often infeasible or restricted due to privacy concerns. We propose an ensemble-based method for estimating the representation reliability without knowing the downstream tasks a priori. Our method is based on the concept of neighborhood consistency across distinct pre-trained representation spaces. The key insight is to find shared neighboring points as anchors to align these representation spaces before comparing them. We demonstrate through comprehensive numerical experiments that our method effectively captures the representation reliability with a high degree of correlation, achieving robust and favorable performance compared with baseline methods.
- Abstract(参考訳): 自己教師付き学習モデルは、データから汎用的な表現を抽出する。
これらの表現の信頼性の定量化は、多くのダウンストリームモデルは、自身のタスクの入力としてそれらに依存しているため、非常に重要です。
この目的のために、表現信頼性の形式的定義を導入する:与えられたテストポイントの表現は、その表現の上に構築された下流モデルが、そのテストポイントの正確な予測を一貫して生成できる場合、信頼できると考えられる。
しかし、下流のデータにアクセスして表現の信頼性を定量化することは、しばしばプライバシー上の懸念のために不可能または制限される。
本稿では,下流タスクを優先課題と知らずに表現信頼性を推定するアンサンブルに基づく手法を提案する。
提案手法は,異なる事前学習された表現空間間の近傍の整合性の概念に基づいている。
鍵となる洞察は、これらの表現空間を比較前に整列するアンカーとして、隣り合う共通点を見つけることである。
提案手法は,高い相関関係で表現信頼性を効果的に把握し,ベースライン法と比較して頑健かつ良好な性能を実現することを,包括的数値実験により実証する。
関連論文リスト
- Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
最適公正表現はいくつかの有用な構造特性を持つことを示す。
そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
論文 参考訳(メタデータ) (2024-09-26T08:46:48Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - Provable Robustness for Streaming Models with a Sliding Window [51.85182389861261]
オンラインコンテンツレコメンデーションや株式市場分析のようなディープラーニングアプリケーションでは、モデルは過去のデータを使って予測を行う。
入力ストリーム上の固定サイズのスライディングウインドウを使用するモデルに対して、ロバスト性証明を導出する。
私たちの保証は、ストリーム全体の平均モデルパフォーマンスを保ち、ストリームサイズに依存しないので、大きなデータストリームに適しています。
論文 参考訳(メタデータ) (2023-03-28T21:02:35Z) - Birds of a Feather Trust Together: Knowing When to Trust a Classifier
via Adaptive Neighborhood Aggregation [30.34223543030105]
我々は、NeighborAggがアダプティブ近隣アグリゲーションを介して2つの重要な情報を利用する方法を示す。
また, 誤り検出の密接な関連課題へのアプローチを拡張し, 偽陰性境界に対する理論的カバレッジを保証する。
論文 参考訳(メタデータ) (2022-11-29T18:43:15Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Uncertainty in Contrastive Learning: On the Predictability of Downstream
Performance [7.411571833582691]
このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。
埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
論文 参考訳(メタデータ) (2022-07-19T15:44:59Z) - Robust Flow-based Conformal Inference (FCI) with Statistical Guarantee [4.821312633849745]
本研究では,予測集合の構築や,複雑なデータや高次元データに対するアウトレイラの推測など,一連の共形推論手法を開発する。
ベンチマークデータセットを用いて,ロバストなフローベース共形推論手法の評価を行った。
論文 参考訳(メタデータ) (2022-05-22T04:17:30Z) - Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。
フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。
本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
論文 参考訳(メタデータ) (2021-01-05T18:54:11Z) - Adversarial Robustness of Supervised Sparse Coding [34.94566482399662]
表現を学習すると同時に、正確な一般化境界と堅牢性証明を与えるモデルを考える。
線形エンコーダと組み合わされたスパーシティプロモーティングエンコーダを組み合わせた仮説クラスに着目した。
エンドツーエンドの分類のための堅牢性証明を提供する。
論文 参考訳(メタデータ) (2020-10-22T22:05:21Z) - A Simple Framework for Uncertainty in Contrastive Learning [11.64841553345271]
我々は、事前訓練されたコントラッシブ表現に対して不確実性を割り当てることを学ぶための単純なアプローチを導入する。
我々は、表現から表現空間の分布への深いネットワークを訓練し、その分散を信頼度尺度として用いることができる。
本実験では,(1) モデル動作の視覚的解釈,(2) 展開モデルへの入力における新しいノイズの検出,(3) 異常検出,そして,11タスクで10のベースライン手法を上回り,最大14%の絶対性向上を実現していることを示す。
論文 参考訳(メタデータ) (2020-10-05T14:17:42Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。