論文の概要: Investigating the Impact of Model Instability on Explanations and Uncertainty

• arxiv url: http://arxiv.org/abs/2402.13006v2
• Date: Tue, 4 Jun 2024 11:18:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 12:48:21.975692
• Title: Investigating the Impact of Model Instability on Explanations and Uncertainty
• Title（参考訳）: モデル不安定性が説明と不確実性に及ぼす影響の検討
• Authors: Sara Vera Marjanović, Isabelle Augenstein, Christina Lioma,
• Abstract要約: テキスト入力における不確かさを推測時に雑音を導入することでシミュレートする。 高い不確実性は必ずしも説明可能性の低さを暗示しない。 このことは、ノイズ増強モデルが不確実性のあるトークンを特定するのに優れていることを示唆している。
• 参考スコア（独自算出の注目度）: 43.254616360807496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explainable AI methods facilitate the understanding of model behaviour, yet, small, imperceptible perturbations to inputs can vastly distort explanations. As these explanations are typically evaluated holistically, before model deployment, it is difficult to assess when a particular explanation is trustworthy. Some studies have tried to create confidence estimators for explanations, but none have investigated an existing link between uncertainty and explanation quality. We artificially simulate epistemic uncertainty in text input by introducing noise at inference time. In this large-scale empirical study, we insert different levels of noise perturbations and measure the effect on the output of pre-trained language models and different uncertainty metrics. Realistic perturbations have minimal effect on performance and explanations, yet masking has a drastic effect. We find that high uncertainty doesn't necessarily imply low explanation plausibility; the correlation between the two metrics can be moderately positive when noise is exposed during the training process. This suggests that noise-augmented models may be better at identifying salient tokens when uncertain. Furthermore, when predictive and epistemic uncertainty measures are over-confident, the robustness of a saliency map to perturbation can indicate model stability issues. Integrated Gradients shows the overall greatest robustness to perturbation, while still showing model-specific patterns in performance; however, this phenomenon is limited to smaller Transformer-based language models.
• Abstract（参考訳）: 説明可能なAI手法は、モデル動作の理解を容易にするが、入力に対する小さな、知覚できない摂動は、説明を大幅に歪めることができる。 これらの説明は一般的に、モデル展開の前に全体的評価されるため、特定の説明が信頼できるかどうかを評価するのは難しい。 いくつかの研究は、説明のための信頼度推定器の作成を試みたが、不確実性と説明品質の既存の関係についての調査は行われていない。 テキスト入力における認識の不確かさを人工的にシミュレートする。 本研究では,様々なレベルのノイズ摂動を挿入し,事前学習した言語モデルと異なる不確実性指標の出力に与える影響を計測する。 現実的な摂動はパフォーマンスや説明に最小限の影響を与えるが、マスキングは劇的な効果を持つ。 高い不確実性は、必ずしも説明の妥当性を低下させるものではない。トレーニングプロセス中にノイズが暴露された場合、両者の相関は適度に正となる。 このことは、ノイズ増強モデルが不確実性のあるトークンを特定するのに優れていることを示唆している。 さらに、予測的および認識的不確実性尺度が過信である場合、摂動に対する塩分マップの堅牢性はモデル安定性の問題を示す可能性がある。 統合グラディエントは摂動に対する全体的な堅牢性を示しながら、モデル固有の性能パターンを示しているが、この現象はより小さなTransformerベースの言語モデルに限定されている。

関連論文リスト

• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• Identifying Drivers of Predictive Aleatoric Uncertainty [2.5311562666866494]
  本稿では,予測的アレタリック不確実性を説明するための簡単なアプローチを提案する。 我々は、ガウス出力分布にニューラルネットワークを適用することにより、不確実性を予測分散として推定する。 我々は、実世界のデータセットを含むニュアンスなベンチマーク分析を用いて、この結果の定量化を行う。
  論文  参考訳（メタデータ） (2023-12-12T13:28:53Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• ALUM: Adversarial Data Uncertainty Modeling from Latent Model Uncertainty Compensation [25.67258563807856]
  本稿では,モデル不確実性とデータ不確実性を扱うALUMという新しい手法を提案する。 提案するALUMはモデルに依存しないため,オーバーヘッドの少ない既存のディープモデルに容易に実装できる。
  論文  参考訳（メタデータ） (2023-03-29T17:24:12Z)
• Adversarial Counterfactual Visual Explanations [0.7366405857677227]
  本稿では,敵攻撃を意味論的に意味のある摂動に変換するエレガントな手法を提案する。 提案手法は,拡散確率モデルが高周波および分布外摂動を回避するための優れた正則化器であることを仮定する。
  論文  参考訳（メタデータ） (2023-03-17T13:34:38Z)
• Uncertainty-Aware Learning Against Label Noise on Imbalanced Datasets [23.4536532321199]
  不整合データセットのラベルノイズを処理するための不確かさを意識したラベル補正フレームワークを提案する。 本研究では,不均衡なデータセットのラベルノイズを処理するために,不確かさを意識したラベル補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T11:35:55Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Uncertainty-Aware Reliable Text Classification [21.517852608625127]
  ディープニューラルネットワークは、分類タスクの予測精度の成功に大きく貢献している。 ドメインシフトやアウト・オブ・ディストリビューション(out-of-distribution)の例が存在する現実の環境では、過度に信頼された予測を行う傾向があります。 補助外乱と擬似外乱サンプルを併用して, あるクラスの事前知識でモデルを訓練する, 安価なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-15T04:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。