論文の概要: Gaussian Process Probes (GPP) for Uncertainty-Aware Probing

• arxiv url: http://arxiv.org/abs/2305.18213v2
• Date: Mon, 6 Nov 2023 13:08:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 22:32:13.863893
• Title: Gaussian Process Probes (GPP) for Uncertainty-Aware Probing
• Title（参考訳）: 不確実性検出のためのガウス過程プローブ(GPP)
• Authors: Zi Wang and Alexander Ku and Jason Baldridge and Thomas L. Griffiths and Been Kim
• Abstract要約: モデルによって表現される概念に関する不確実性を探索し、測定するための統一的でシンプルなフレームワークを導入する。 実験の結果,(1)ごく少数の例でも,モデルの概念表現を探索し,(2)認識の不確実性(プローブがどの程度確実か)と解離不確実性(モデルがファジィか)を正確に測定し,(3)これらの不確実性尺度と古典的手法を用いて分布データの検出を行うことができた。
• 参考スコア（独自算出の注目度）: 61.91898698128994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding which concepts models can and cannot represent has been fundamental to many tasks: from effective and responsible use of models to detecting out of distribution data. We introduce Gaussian process probes (GPP), a unified and simple framework for probing and measuring uncertainty about concepts represented by models. As a Bayesian extension of linear probing methods, GPP asks what kind of distribution over classifiers (of concepts) is induced by the model. This distribution can be used to measure both what the model represents and how confident the probe is about what the model represents. GPP can be applied to any pre-trained model with vector representations of inputs (e.g., activations). It does not require access to training data, gradients, or the architecture. We validate GPP on datasets containing both synthetic and real images. Our experiments show it can (1) probe a model's representations of concepts even with a very small number of examples, (2) accurately measure both epistemic uncertainty (how confident the probe is) and aleatory uncertainty (how fuzzy the concepts are to the model), and (3) detect out of distribution data using those uncertainty measures as well as classic methods do. By using Gaussian processes to expand what probing can offer, GPP provides a data-efficient, versatile and uncertainty-aware tool for understanding and evaluating the capabilities of machine learning models.
• Abstract（参考訳）: モデルが表現できる概念とできない概念を理解することは、効果的で責任あるモデルの使用から分散データの検出に至るまで、多くのタスクに基礎を置いてきた。 ガウス過程プローブ(gpp)は,モデルによって表される概念の不確かさを探索し測定するための,統一的で単純なフレームワークである。 線形プローブ法のベイズ拡大として、gppは(概念の)分類器上の分布がモデルによって誘導されるかを問う。 この分布は、モデルが何を表すかと、モデルが何を表すかのプローブがどれだけ自信があるかを測定するのに使うことができる。 GPPは入力のベクトル表現(例えばアクティベーション)を持つ任意の事前学習モデルに適用できる。 トレーニングデータや勾配、アーキテクチャへのアクセスは必要ありません。 合成画像と実画像の両方を含むデータセット上でGPPを検証する。 実験では,(1)ごく少数の例でもモデルの概念表現を探索できること,(2)認識的不確実性(プローブがどの程度自信を持っているか)と排他的不確実性(モデルに対する概念のファジィ性)の双方を正確に測定すること,(3)これらの不確実性測定と古典的手法を用いて分布データから検出できることが示されている。 GPPはガウス的プロセスを使用して、データ効率、汎用性、不確実性を意識したツールを提供し、機械学習モデルの能力を理解し評価する。

関連論文リスト

• Explainable Learning with Gaussian Processes [23.796560256071473]
  我々は、モデル不確実性の下で属性を定義するために原則化されたアプローチをとっており、既存の文献を拡張している。 GPRは非常に柔軟で非パラメトリックなアプローチであるが、特徴属性に対する解釈可能でクローズドな表現を導出できることを示す。 また、適用すれば、GPR属性の正確な式は、現在使われている近似よりも正確で計算コストが低いことも示している。
  論文  参考訳（メタデータ） (2024-03-11T18:03:02Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• PSD Representations for Effective Probability Models [117.35298398434628]
  最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。 我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。 本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
  論文  参考訳（メタデータ） (2021-06-30T15:13:39Z)
• Incorporating Causal Graphical Prior Knowledge into Predictive Modeling via Simple Data Augmentation [92.96204497841032]
  因果グラフ(CG)は、データ分散の背後にあるデータ生成プロセスの知識のコンパクトな表現である。 本研究では,条件付き独立性(CI)関係の事前知識を活用可能なモデルに依存しないデータ拡張手法を提案する。 本手法は,小データシステムにおける予測精度の向上に有効であることを実験的に示した。
  論文  参考訳（メタデータ） (2021-02-27T06:13:59Z)
• Gaussian Function On Response Surface Estimation [12.35564140065216]
  メタモデリング手法によるブラックボックス機械学習モデルの解釈(機能とサンプル)のための新しいフレームワークを提案する。 メタモデルは、興味のある領域のデータサンプルでコンピュータ実験を実行することによって、訓練された複雑なモデルによって生成されたデータから推定することができる。
  論文  参考訳（メタデータ） (2021-01-04T04:47:00Z)
• Gaussian Process Regression with Local Explanation [28.90948136731314]
  本稿では,各サンプルの予測に寄与する特徴を明らかにするため,局所的な説明を伴うGPRを提案する。 提案モデルでは,各サンプルの予測と説明を,容易に解釈可能な局所線形モデルを用いて行う。 新しい試験サンプルでは, 対象変数と重みベクトルの値と不確かさを予測できる。
  論文  参考訳（メタデータ） (2020-07-03T13:22:24Z)
• Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables [11.985433487639403]
  確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。 我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。 実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T20:34:32Z)
• Characterizing and Avoiding Problematic Global Optima of Variational Autoencoders [28.36260646471421]
  変分自動エンコーダ(VAEs)は、深部生成潜在変数モデルである。 最近の研究は、伝統的な訓練手法がデシダラタに反する解決策をもたらす傾向があることを示している。 どちらの問題も、VAEトレーニング目標のグローバルな最適度が望ましくない解決策とよく一致するという事実に起因していることを示す。
  論文  参考訳（メタデータ） (2020-03-17T15:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。