論文の概要: Estimating Uncertainty in Multimodal Foundation Models using Public Internet Data

• arxiv url: http://arxiv.org/abs/2310.09926v2
• Date: Sun, 26 Nov 2023 05:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 13:49:55.950562
• Title: Estimating Uncertainty in Multimodal Foundation Models using Public Internet Data
• Title（参考訳）: 公共インターネットデータを用いたマルチモーダル基礎モデルの不確かさの推定
• Authors: Shiladitya Dutta, Hongbo Wei, Lars van der Laan, Ahmed M. Alaa
• Abstract要約: ファンデーションモデルは、自己教師付き学習を使用して、大規模に大量のデータをトレーニングする。 本稿では,ゼロショット予測における不確実性を定量化する問題に対処する。 ウェブデータとの共形予測を用いたゼロショット設定における不確実性推定手法を提案する。
• 参考スコア（独自算出の注目度）: 15.365603519829088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are trained on vast amounts of data at scale using self-supervised learning, enabling adaptation to a wide range of downstream tasks. At test time, these models exhibit zero-shot capabilities through which they can classify previously unseen (user-specified) categories. In this paper, we address the problem of quantifying uncertainty in these zero-shot predictions. We propose a heuristic approach for uncertainty estimation in zero-shot settings using conformal prediction with web data. Given a set of classes at test time, we conduct zero-shot classification with CLIP-style models using a prompt template, e.g., "an image of a <category>", and use the same template as a search query to source calibration data from the open web. Given a web-based calibration set, we apply conformal prediction with a novel conformity score that accounts for potential errors in retrieved web data. We evaluate the utility of our proposed method in Biomedical foundation models; our preliminary results show that web-based conformal prediction sets achieve the target coverage with satisfactory efficiency on a variety of biomedical datasets.
• Abstract（参考訳）: ファンデーションモデルは、自己教師付き学習を使用して大規模な大量のデータに基づいて訓練されており、幅広い下流タスクへの適応を可能にする。 テスト時には、これらのモデルはゼロショット機能を示し、以前は目に見えない(ユーザ指定)カテゴリを分類することができる。 本稿では,これらのゼロショット予測における不確かさを定量化する問題に対処する。 ウェブデータとの共形予測を用いたゼロショット設定における不確実性推定のためのヒューリスティック手法を提案する。 テスト時に一連のクラスが与えられると、プロンプトテンプレート("a image of a <category>"など)を使用してクリップスタイルのモデルでゼロショットの分類を行い、オープンwebからのキャリブレーションデータに対する検索クエリと同じテンプレートを使用する。 webベースのキャリブレーションセットが与えられた場合、検索されたwebデータの潜在的なエラーを考慮し、新しいコンフォメーションスコアにコンフォメーション予測を適用する。 本研究は, 生物医学基礎モデルにおける提案手法の有用性を評価し, 様々な生体医学データセットにおいて, 対象範囲を満足できる効率で達成できることを予備的に示した。

関連論文リスト

• Onboard Out-of-Calibration Detection of Deep Learning Models using Conformal Prediction [4.856998175951948]
  本研究では,共形予測アルゴリズムが深層学習モデルの不確かさと関係があることを示し,この関係が深層学習モデルが校正外であるかどうかを検出するのに有効であることを示す。 モデル不確かさと共形予測セットの平均サイズに関連する校正外検出手順を示す。
  論文  参考訳（メタデータ） (2024-05-04T11:05:52Z)
• Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration [16.930766717110053]
  本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。 予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。 回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
  論文  参考訳（メタデータ） (2024-02-14T14:35:57Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Personalized Interpretable Classification [8.806213269230057]
  我々は、新たなデータマイニング問題として、パーソナライズされた解釈可能な分類を正式に導入する第一歩を踏み出します。 実データ集合に関する一連の実証的研究を行う。 我々のアルゴリズムは、これら最先端(SOTA)の解釈可能な分類器と同じレベルの予測精度を達成できる。
  論文  参考訳（メタデータ） (2023-02-06T01:59:16Z)
• Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning [10.396596055773012]
  本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
  論文  参考訳（メタデータ） (2023-01-15T03:36:33Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。