論文の概要: Uncertainty Estimation of Transformers' Predictions via Topological
Analysis of the Attention Matrices
- arxiv url: http://arxiv.org/abs/2308.11295v1
- Date: Tue, 22 Aug 2023 09:17:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 13:23:56.510123
- Title: Uncertainty Estimation of Transformers' Predictions via Topological
Analysis of the Attention Matrices
- Title(参考訳): 注意行列のトポロジカル解析による変圧器の予測の不確かさの推定
- Authors: Elizaveta Kostenok, Daniil Cherniavskii, Alexey Zaytsev
- Abstract要約: そこで我々は,Transformerアーキテクチャに基づくニューラルネットワークの不確実性推定を行うタスクを設定した。
本稿では,注意機構の位相特性に基づく不確実性推定手法を提案する。
- 参考スコア(独自算出の注目度): 3.536472734238452
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Determining the degree of confidence of deep learning model in its prediction
is an open problem in the field of natural language processing. Most of the
classical methods for uncertainty estimation are quite weak for text
classification models. We set the task of obtaining an uncertainty estimate for
neural networks based on the Transformer architecture. A key feature of such
mo-dels is the attention mechanism, which supports the information flow between
the hidden representations of tokens in the neural network. We explore the
formed relationships between internal representations using Topological Data
Analysis methods and utilize them to predict model's confidence. In this paper,
we propose a method for uncertainty estimation based on the topological
properties of the attention mechanism and compare it with classical methods. As
a result, the proposed algorithm surpasses the existing methods in quality and
opens up a new area of application of the attention mechanism, but requires the
selection of topological features.
- Abstract(参考訳): ディープラーニングモデルの予測における信頼度の決定は、自然言語処理の分野におけるオープンな問題である。
不確実性推定の古典的手法のほとんどは、テキスト分類モデルにおいて非常に弱い。
そこで我々は,Transformerアーキテクチャに基づくニューラルネットワークの不確実性推定を行うタスクを設定した。
このようなモデルの重要な特徴は、ニューラルネットワーク内のトークンの隠された表現間の情報フローをサポートするアテンションメカニズムである。
トポロジカルなデータ分析手法を用いて,内部表現間の関係を探索し,モデルの信頼度を予測する。
本稿では,注意機構の位相的性質に基づく不確実性推定法を提案し,古典的手法と比較する。
その結果,提案手法は既存の品質評価手法を超越し,注意機構の新たな適用領域を開くが,位相的特徴の選択が必要となる。
関連論文リスト
- kNN Algorithm for Conditional Mean and Variance Estimation with
Automated Uncertainty Quantification and Variable Selection [8.429136647141487]
我々は従来の非パラメトリックkNNモデルのスケーラビリティと適応性を相乗化するkNNベースの回帰手法を提案する。
本手法は,確率応答変数の条件平均と分散を正確に推定することに焦点を当てる。
2つのケーススタディで示されているように、特に生体医学的応用において顕著である。
論文 参考訳(メタデータ) (2024-02-02T18:54:18Z) - Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳(メタデータ) (2023-12-28T18:33:26Z) - Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。
この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文 参考訳(メタデータ) (2023-07-06T15:19:53Z) - A new approach to generalisation error of machine learning algorithms:
Estimates and convergence [0.0]
本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。
本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
論文 参考訳(メタデータ) (2023-06-23T20:57:31Z) - Confidence estimation of classification based on the distribution of the
neural network output layer [4.529188601556233]
現実の世界における予測モデルの適用を防ぐための最も一般的な問題の1つは一般化の欠如である。
ニューラルネットワーク分類モデルにより生成された特定の予測の不確かさを推定する新しい手法を提案する。
提案手法は,この予測に対応するロジット値の分布に基づいて,特定の予測の信頼性を推定する。
論文 参考訳(メタデータ) (2022-10-14T12:32:50Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-06T13:18:31Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Hessian-based toolbox for reliable and interpretable machine learning in
physics [58.720142291102135]
本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。
与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。
我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
論文 参考訳(メタデータ) (2021-08-04T16:32:59Z) - Bayesian Attention Belief Networks [59.183311769616466]
注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。
本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。
提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-09T17:46:22Z) - Probabilistic Deep Learning for Instance Segmentation [9.62543698736491]
提案手法は,提案不要なインスタンスセグメンテーションモデルにおけるモデル独立不確実性推定値を得るための汎用的な手法である。
本手法は,BBBC010 C. elegansデータセットを用いて評価し,競合性能を示す。
論文 参考訳(メタデータ) (2020-08-24T19:51:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。