論文の概要: Uncertainty Estimation of Transformers' Predictions via Topological Analysis of the Attention Matrices

• arxiv url: http://arxiv.org/abs/2308.11295v2
• Date: Mon, 16 Sep 2024 15:41:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 03:47:44.937953
• Title: Uncertainty Estimation of Transformers' Predictions via Topological Analysis of the Attention Matrices
• Title（参考訳）: 注意行列のトポロジカル解析による変圧器の予測の不確かさの推定
• Authors: Elizaveta Kostenok, Daniil Cherniavskii, Alexey Zaytsev,
• Abstract要約: そこで我々は,Transformerアーキテクチャに基づくニューラルネットワークの不確実性推定を行うタスクを設定した。 本稿では,注意機構の位相特性に基づく不確実性推定手法を提案する。
• 参考スコア（独自算出の注目度）: 3.1466086042810884
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Determining the degree of confidence of deep learning model in its prediction is an open problem in the field of natural language processing. Most of the classical methods for uncertainty estimation are quite weak for text classification models. We set the task of obtaining an uncertainty estimate for neural networks based on the Transformer architecture. A key feature of such mo-dels is the attention mechanism, which supports the information flow between the hidden representations of tokens in the neural network. We explore the formed relationships between internal representations using Topological Data Analysis methods and utilize them to predict model's confidence. In this paper, we propose a method for uncertainty estimation based on the topological properties of the attention mechanism and compare it with classical methods. As a result, the proposed algorithm surpasses the existing methods in quality and opens up a new area of application of the attention mechanism, but requires the selection of topological features.
• Abstract（参考訳）: ディープラーニングモデルの予測における信頼度の決定は、自然言語処理の分野におけるオープンな問題である。 不確実性推定の古典的手法のほとんどは、テキスト分類モデルにおいて非常に弱い。 そこで我々は,Transformerアーキテクチャに基づくニューラルネットワークの不確実性推定を行うタスクを設定した。 このようなモデルの重要な特徴は、ニューラルネットワーク内のトークンの隠された表現間の情報フローをサポートするアテンションメカニズムである。 本研究では、トポロジカルデータ解析手法を用いて、内部表現間の関係を定式化し、モデルの信頼度を予測する。 本稿では,注意機構の位相特性に基づく不確実性推定手法を提案し,従来の手法と比較する。 その結果,提案アルゴリズムは既存の手法を上回り,アテンション機構の新たな適用領域を開くが,トポロジ的特徴の選択が必要である。

関連論文リスト

• Enhancing adversarial robustness in Natural Language Inference using explanations [41.46494686136601]
  自然言語推論(NLI)の未探索課題に注目点を当てた。 我々は、広範囲な実験を通じて、モデルに依存しない防衛戦略として、自然言語説明の使用を検証した。 本研究では,広範に使用されている言語生成指標と人間の知覚との相関について検討し,それらが堅牢なNLIモデルへのプロキシとして機能するようにした。
  論文  参考訳（メタデータ） (2024-09-11T17:09:49Z)
• PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis [14.526536510805755]
  本稿では,この急速に発展する分野におけるベンチマークの標準化を目的として,単一細胞における摂動の影響を予測するための包括的なフレームワークを提案する。 当社のフレームワークであるPerturBenchには、ユーザフレンドリなプラットフォーム、多様なデータセット、フェアモデル比較のためのメトリクス、詳細なパフォーマンス分析が含まれています。
  論文  参考訳（メタデータ） (2024-08-20T07:40:20Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Uncertainty Quantification for Bird's Eye View Semantic Segmentation: Methods and Benchmarks [10.193504550494486]
  本稿では,BEVセグメンテーションにおける予測不確実性定量化のためのベンチマークを提案する。 誤分類および非分布画素の識別における予測不確実性の有効性と校正に焦点が当てられている。 本研究では,不均衡なデータに対する不確実性-局所-クロス-エントロピー損失を提案し,セグメンテーションの品質とキャリブレーションを継続的に改善する。
  論文  参考訳（メタデータ） (2024-05-31T16:32:46Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• Estimating the Robustness of Classification Models by the Structure of the Learned Feature-Space [10.418647759223964]
  固定テストセットは、可能なデータバリエーションのごく一部しかキャプチャできないため、制限され、新しい過度なソリューションを生成する傾向にある、と私たちは主張する。 これらの欠点を克服するために、学習した特徴空間の構造から直接モデルのロバスト性を推定することを提案する。
  論文  参考訳（メタデータ） (2021-06-23T10:52:29Z)
• Interpretable Social Anchors for Human Trajectory Forecasting in Crowds [84.20437268671733]
  本研究では,人混みの軌跡を予測できるニューラルネットワークシステムを提案する。 解釈可能なルールベースのインテントを学び、ニューラルネットワークの表現可能性を利用してシーン固有の残差をモデル化する。 私たちのアーキテクチャは、インタラクション中心のベンチマークTrajNet++でテストされています。
  論文  参考訳（メタデータ） (2021-05-07T09:22:34Z)
• Explainable Matrix -- Visualization for Global and Local Interpretability of Random Forest Classification Ensembles [78.6363825307044]
  本研究では,ランダムフォレスト (RF) 解釈のための新しい可視化手法である Explainable Matrix (ExMatrix) を提案する。 単純なマトリックスのようなメタファで、行はルール、列は特徴、セルはルールを述語する。 ExMatrixの適用性は、異なる例を通じて確認され、RFモデルの解釈可能性を促進するために実際にどのように使用できるかを示している。
  論文  参考訳（メタデータ） (2020-05-08T21:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。