論文の概要: Representation Reliability and Its Impact on Downstream Tasks
- arxiv url: http://arxiv.org/abs/2306.00206v1
- Date: Wed, 31 May 2023 21:57:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 19:07:20.287887
- Title: Representation Reliability and Its Impact on Downstream Tasks
- Title(参考訳): 表現信頼性と下流課題への影響
- Authors: Young-Jin Park, Hao Wang, Shervin Ardeshir, Navid Azizan
- Abstract要約: 表現信頼性の形式的定義を導入する。
下流タスクを事前に知ることなく、表現信頼性を見積もることが望ましい。
本稿では,表現信頼性を定量化するアンサンブルに基づく手法を提案する。
- 参考スコア(独自算出の注目度): 11.515547972872117
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised pre-trained models extract general-purpose representations
from data, and quantifying how reliable they are is crucial because many
downstream models use these representations as input for their own tasks. To
this end, we first introduce a formal definition of representation reliability:
the representation for a given test input is considered to be reliable if the
downstream models built on top of that representation can consistently generate
accurate predictions for that test point. It is desired to estimate the
representation reliability without knowing the downstream tasks a priori. We
provide a negative result showing that existing frameworks for uncertainty
quantification in supervised learning are not suitable for this purpose. As an
alternative, we propose an ensemble-based method for quantifying representation
reliability, based on the concept of neighborhood consistency in the
representation spaces across various pre-trained models. More specifically, the
key insight is to use shared neighboring points as anchors to align different
representation spaces. We demonstrate through comprehensive numerical
experiments that our method is capable of predicting representation reliability
with high accuracy.
- Abstract(参考訳): 自己教師付き事前学習モデルは、データから汎用表現を抽出し、ダウンストリームモデルの多くは、これらの表現を自身のタスクの入力として使用するため、それらがどれほど信頼性が高いかを定量化する。
与えられたテスト入力の表現は、その表現の上に構築された下流モデルが一貫してそのテストポイントの正確な予測を生成できる場合に信頼性があると考えられる。
下流タスクを事前に知ることなく、表現信頼性を推定することが望ましい。
教師付き学習における不確実性定量化のための既存のフレームワークがこの目的に適さないことを示す。
代案として,様々な事前学習モデルにまたがる表現空間における近傍整合性の概念に基づいて,表現信頼性を定量化するアンサンブルに基づく手法を提案する。
より具体的には、鍵となる洞察は、異なる表現空間を整列するアンカーとして隣り合う点を共有することである。
本手法が表現信頼性を高精度に予測できることを総合的な数値実験により実証する。
関連論文リスト
- Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - Provable Robustness for Streaming Models with a Sliding Window [51.85182389861261]
オンラインコンテンツレコメンデーションや株式市場分析のようなディープラーニングアプリケーションでは、モデルは過去のデータを使って予測を行う。
入力ストリーム上の固定サイズのスライディングウインドウを使用するモデルに対して、ロバスト性証明を導出する。
私たちの保証は、ストリーム全体の平均モデルパフォーマンスを保ち、ストリームサイズに依存しないので、大きなデータストリームに適しています。
論文 参考訳(メタデータ) (2023-03-28T21:02:35Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Improving the Reliability for Confidence Estimation [16.952133489480776]
信頼度推定は、デプロイ中のモデルの予測出力の信頼性を評価することを目的としたタスクである。
これまでの研究は、信頼度推定モデルが持つべき2つの重要な特性を概説してきた。
信頼度推定モデルにおいて、両方の品質を同時に改善できるメタラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-13T06:34:23Z) - Uncertainty Estimation for Multi-view Data: The Power of Seeing the
Whole Picture [5.868139834982011]
ニューラルネットワークを現実世界のアプリケーションで信頼できるものにするためには、不確実性推定が不可欠である。
そこで本研究では,不確実性評価と領域外サンプル検出のための新しい多視点分類フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T04:47:51Z) - Uncertainty in Contrastive Learning: On the Predictability of Downstream
Performance [7.411571833582691]
このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。
埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
論文 参考訳(メタデータ) (2022-07-19T15:44:59Z) - Robust Flow-based Conformal Inference (FCI) with Statistical Guarantee [4.821312633849745]
本研究では,予測集合の構築や,複雑なデータや高次元データに対するアウトレイラの推測など,一連の共形推論手法を開発する。
ベンチマークデータセットを用いて,ロバストなフローベース共形推論手法の評価を行った。
論文 参考訳(メタデータ) (2022-05-22T04:17:30Z) - Trusted Multi-View Classification [76.73585034192894]
本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。
さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。
提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
論文 参考訳(メタデータ) (2021-02-03T13:30:26Z) - Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。
フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。
本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
論文 参考訳(メタデータ) (2021-01-05T18:54:11Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。